MoE 强化学习中的专家空间探索

基于摘要分析。本文研究 MoE 大语言模型强化学习后训练中的探索问题，提出 Expert-Space Exploration Reinforcement Learning（ESRL），将专家路由作为 token 级采样之外的探索维度。主要研究对象是数学、科学和代码任务上的语言模型，而非 EEG 或 BCI。 作者的经验分析显示，路由扰动能够改变模型输出、增加 rollout 多样性，效果类似提高解码温度；但直接扰动可能激活不合适的专家，损害生成质量。ESRL 保留高置信度专家作为锚点，仅在合理候选池内随机路由，并依据路由器熵调整扰动强度，以限制过度扰动。为缓解 rollout 与策略优化之间的路由失配，方法记录生成阶段使用的专家路径，并在策略优化时重放。摘要未提供候选池构造、置信度判定、熵与扰动强度的映射或具体损失形式。 作者报告，在数学、科学和代码任务上，ESRL 在采用 top-K、top-1 与共享专家路由的 MoE 骨干模型中取得最佳表现；完整比较范围尚未验证。其中，在 Qwen3-30B-A3B 上，相比 GRPO，平均 Pass@1 和 Pass@8 分别提高 3.2 和 4.5 个百分点，且不增加 rollout 样本数或每 token 激活的专家数。该约束不等同于训练总开销不变，路径记录与重放的时间、存储成本仍需核对。 摘要未列出具体数据集、数据划分、评估采样配置、随机种子及统计不确定性，实验协议、消融及统计信息尚未验证。其贡献应限定为利用 MoE 路由结构改善语言模型 RL 探索；目前材料不足以建立向 EEG/BCI 的具体迁移路径，相关工作尚未检索确认。