超越专家排序：面向 MoE 混合精度量化的对比度校准

基于摘要分析。本文研究 MoE 语言模型的权重存储问题：虽然每个 token 仅激活少数专家，所有专家权重仍需存储。作者提出 NatScale，在混合精度量化中不仅依据专家敏感度排序分配位宽，还校准不同专家误差权重之间的对比度，以在存储预算内选择量化配置。 核心机制是对基于梯度的专家权重施加模型特定的幂变换，在保持排序不变的同时，使权重对比度匹配一个信息论目标。方法联合评估每个专家的 gate、up 和 down 配置以估计输出误差，再将误差、校准权重以及已有的基于权重谱、方差和精度衰减的先验结合，用于预算约束下的配置选择。摘要未给出信息论目标的具体定义、幂变换参数的确定方式及配置搜索细节。 作者报告，在三个模型的九种设置中，相较五种分配基线，NatScale 均取得最低的原生模型与量化模型输出之间的 KL 散度，以及最高的最高概率 token 一致率；其中七种设置取得最低困惑度。模型名称、量化位宽、存储预算、校准与评估数据、具体数值及统计不确定性未在摘要中披露，因此这些结果仅能在作者所述评估范围内理解，实验协议、消融及统计信息尚未验证。 本文主要贡献是面向 MoE 语言模型的量化分配机制，并非 EEG 或 BCI 方法。摘要未提供神经信号模型量化或端侧 BCI 验证，不能据此推断其能改善 BCI 解码性能；已有 EEG 相关工作尚未检索确认。