任务阶段条件化的专家路由并非 MoE FFN 张量量化敏感度的可靠代理指标

基于摘要分析。本文研究 MoE 语言模型中逐层、逐任务阶段的专家路由统计，能否指导路由专家 FFN 张量的逐层混合精度量化。作者构建路由采集与性能剖析流程，并在固定平均每权重比特数（bpw）预算下优化精度分配；作者报告，所测试的路由引导重分配未优于各质量档位内的均匀分配基线。 方法方面，研究对象为 ik_llama.cpp 中的 Qwen-3.6-35B-A3B，任务阶段划分为 prompt、reasoning 和 response，量化对象涉及 down/gate 与 up 张量。作者将路由熵与决断性、变异系数（CV）、Jaccard/阶段脆弱性及 top-1 专家强度组合为敏感度分数，再以坐标下降优化逐层分配。作者称，路由剖析流程也适用于标准 top-k MoE 架构；这不等于量化结论已在其他架构得到验证。 结果方面，作者报告：在约 4.0 bpw 的 flat 条件下，重分配相对同档均匀基线呈统计中性，z 约为 0.9；在约 2.7 bpw 的 steep 条件下，同档随机重分配与路由引导重分配的表现差异处于 1 个标准误（SE）以内。作者还报告，激进预算条件下存在显著性能损失，摘要表述为“z greater than 4 SE”，并在三个独立权重向量下复现；该统计表述及权重向量的具体含义需查阅全文确认。 作者将低比特档位的损失解释为强制精度降级与 Kullback–Leibler Divergence（KLD）尾部注入造成的结构性影响，并据此质疑路由行为统计能否代理真实逐层量化代价。该证据针对本研究采用的代理指标、模型与预算条件，不足以排除其他路由指标或量化策略。评估数据、质量指标、统计检验细节、消融及复现配置尚未验证。本文主要研究语言模型压缩，摘要未提供 EEG/BCI 迁移证据。