跳到正文
OpenReview · State space models·· 2026-09-12精选AI 评分75

重新思考量化 LLM 微调:连续映射空间中的自适应分组交替零阶算法

Rethinking Quantized LLM Fine-Tuning: An Adaptive-Grouping Alternating Zeroth-Order Algorithm in Continuous Mapping Space

AI 导读

该研究面向资源受限边缘设备上的量化 LLM 微调,提出 CoZO,在连续映射空间中优化细粒度 scales 和 zero-points,并通过自适应分组平衡搜索空间表达能力与零阶估计稳定性。基于摘要分析,未取得论文全文。 核心机制:作者认为,直接扰动离散量化权重会将优化限制在有限搜索空间,而仅调整每个张量或通道的粗粒度 scales,又只能覆盖表达能力受限的连续子空间。CoZO 因此将 scales 与 zero-points 细化,通过交替零阶优化调整这些映射参数,以间接改变反量化后的权重。摘要未说明具体分组规则、交替更新顺序、扰动分布或目标函数,不能据此补充实现细节。 理论与结果:作者报告为 CoZO 提供了理论收敛保证,并在严格内存约束下,相较离散扰动与 scale-tuning 基线取得更好的稳定性和有效性。摘要未给出模型、任务、量化位宽、数据划分、评价指标或具体数值;收敛假设、内存测量口径、对照设置、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是以连续量化映射参数替代直接权重更新,可能适用于需要低内存适配的量化 EEG 解码模型,而不是直接构成新的 BCI 解码方法。迁移依赖目标模型的量化结构、可计算的任务损失及足够稳定的目标函数评估;可复用的是零阶更新与自适应分组思路,需要改造参数分组、量化映射和 EEG 任务目标。低信噪比、小数据及跨被试或通道差异可能放大零阶估计方差,细粒度参数增加也可能抵消部分资源收益。 一个可检验的小实验是在固定量化 EEG 模型与 Cross-subject 划分下,使用相同目标被试适配数据和内存预算,对比 CoZO、离散扰动及粗粒度 scale-tuning,核对任务指标、峰值内存、前向评估次数和多随机种子稳定性。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认;代码可用性与完整复现条件尚未验证。

阅读价值

值得核对 CoZO 如何通过细粒度量化映射参数与自适应分组平衡零阶搜索的表达能力和估计稳定性;其收敛条件、实际内存收益及对 EEG 模型的适用性尚未验证。

来源:OpenReview · State space models · openreview.net