DRQ以分布鲁棒目标精修低比特LLM量化

基于摘要分析。本文研究仅权重量化的训练后量化（PTQ）中，降低重建损失为何不一定改善低比特 LLM 的下游性能，并提出 Distributionally Robust Quantization（DRQ），通过针对受约束输入激活分布集合优化最坏情况重建损失，对已有量化结果进行后处理精修。 作者报告，校准数据上重建损失更低的权重，不仅可能在新任务上表现更差，也可能损害同一校准数据上的模型性能；当输入激活分布发生变化时，这些权重的重建损失还可能高于其他权重。这提示需要区分局部重建目标与模型任务表现，而不能仅凭校准重建损失判断量化质量。 DRQ 在既有量化网格内调整表示量化权重的整数编码，保持量化参数及推理算子不变。其核心机制是将针对单一校准分布的重建优化，改为考虑受约束激活分布变化的最坏情况优化。分布约束的具体定义、求解方式、精修计算成本与校准数据需求尚未验证。 作者报告，DRQ 改善了六种代表性 PTQ 方法得到的量化模型，其中包括 AWQ、GPTQ 和 ParoQuant，并在稠密及 mixture-of-experts LLM 上取得下游性能收益，且不增加推理开销。摘要未提供具体位宽、模型规模、任务、数据划分、指标或收益数值；实验协议、消融及统计信息尚未验证，不能据此判断改善幅度及其稳定性。 平台推测（待验证）：其“重建误差不等于任务质量”的问题意识可能适用于 EEG 模型量化，但原研究依赖 LLM 权重与输入激活分布，不能直接视为 BCI 证据。假设用于 EEG 部署，可复用既有量化网格内的编码精修思路，但需适配时序输入与被试差异；低信噪比、小校准集和通道变化可能使鲁棒分布约束失准。一个可证伪的小实验是在固定 Cross-subject 划分与量化配置下，对比精修前后的重建损失及任务 Accuracy，并记录精修成本和推理延迟。相关 EEG 工作尚未检索确认。