RDC筛除高路由漂移响应以缓解离策略退化

基于摘要分析。本文研究混合专家（MoE）模型强化学习中的离策略性能退化，提出 Router Drift Control（RDC），以 rollout 与训练阶段的路由分歧衡量策略陈旧程度，并在序列级拒绝高路由漂移响应，而非强制重放 rollout 时的专家选择。 训练与推理不匹配、小批次更新及异步训练都可能使 rollout 策略偏离当前训练策略；在 MoE 中，这种差异还会改变专家选择。Rollout Routing Replay（R3）通过在训练时复用 rollout 的专家选择来缓解不匹配。作者分析指出，这会丢失当前训练路由器选中、但 rollout 路由器未选中的专家所对应的梯度贡献，从而引入梯度偏差。RDC 改为筛除路由分歧较大的完整响应，对保留响应仍使用原生专家选择及其学习信号。此处避免的是作者所述的回放引入的梯度偏差，不能据此认定整个筛选估计过程无偏。 作者报告，随着策略陈旧程度增加，RDC 的收益更大，且在异步强化学习中仍然有效。在摘要所述异步训练条件下，RDC 与 Truncated Importance Sampling（TIS）结合后，在 AIME 2024 与 AIME 2025 上的平均峰值验证 Accuracy，相较 TIS 提高 5.5 个百分点、相较 R3 提高 4.5 个百分点。该结果针对数学任务，不能视为 EEG 或 BCI 有效性的证据。 摘要未提供路由分歧的具体计算方式、拒绝阈值、模型规模、响应保留率或计算开销；数据划分、峰值选取方式、实验协议、消融及统计信息尚未验证。当前材料也不足以建立明确的 EEG/BCI 机制对应关系，因此不提出迁移效果结论或复现实验方案。