模型内部更强的教师：通过同策略双向蒸馏增强 MoE 模型

基于摘要分析。该研究针对 MoE 大语言模型的训练监督问题，提出 MoEvolve：先增加每个 token 的专家激活预算，恢复并增强扩展后的模型，再将能力反向蒸馏回原始低激活预算配置，以保持最终推理时的激活预算。 原问题是 RLVR 的结果级奖励较稀疏，而 On-Policy Distillation 虽能提供密集的 token 级反馈，却依赖更强且兼容的教师；同策略自蒸馏则依赖人工设计的特权信息。作者提出利用 MoE 内部尚未充分激活的专家容量构造教师，但指出直接增加共同激活的专家会导致性能下降，因为这些专家尚未被优化为协同工作。 MoEvolve 采用“先恢复、后提升”的双向蒸馏策略：先恢复激活扩展后的 high-k 模型，再利用额外激活容量强化其能力，最后逆转蒸馏方向，将能力传回原始 low-k 配置。摘要未给出具体损失、采样策略、专家路由与参数更新方式，这些实现条件尚未验证。 作者报告，在多种 MoE 模型与基准上，相对初始模型的领域平均得分最多提高 22.2 分，相对同预算 RLVR 基线最多提高 6.5 分；最终 low-k 模型也经常超过扩展激活后的教师。上述均为摘要中的最大提升，具体评分尺度、模型与任务对应关系，以及“同预算”所指的资源口径尚未验证，不能解释为 Accuracy 提升或百分比变化。 实验协议、消融及统计信息尚未验证，复现还需核对训练数据、教师构建成本和完整预算核算。该研究对象是 MoE 大语言模型，并非 EEG 或 BCI；摘要未提供神经信号任务证据，其在相关领域的适用性仍待评估，已有 EEG 相关工作尚未检索确认。