扩散语言模型的结果路由蒸馏与强化学习

基于摘要分析。本文研究扩散语言模型（dLLM）如何结合学生自身样本上的蒸馏监督与验证器强化学习：双向去噪使基于似然比的强化学习难以可靠使用，而验证器奖励又不能直接约束其覆盖范围之外的能力。作者提出面向 mixture-of-experts dLLM 的无似然训练流程，依据每组 rollout 的验证结果路由监督信号。 机制上，结果混合的组采用不依赖似然比、以组为中心的 REINFORCE；若学生 rollout 全部失败而教师成功，则在学生的去噪画布上施加密集 KL 监督；其余组跳过。另以蒸馏检查点为锚加入 KL 项，限制验证器奖励范围外的模型变化。该机制将结果奖励与教师监督用于不同样本组，而非对所有样本统一叠加。 作者报告，工具调用教师仅在 18.6% 的训练提示上成功。在 24 个去噪步骤的评估条件下，蒸馏模型较教师提高 6.77 个百分点，结果路由又较蒸馏检查点提高 18.31 个百分点。在相同评估条目上，路由使推理轨迹 Accuracy 下降 0.71 个百分点，但直接答案 Accuracy 提高 13.21 个百分点，提示两种评估形式不能相互替代。 作者报告，锚定方案恢复了推理轨迹 Accuracy，其工具调用得分差为 −0.16 个百分点，置信区间包含零；但该对照同时移除了一个小规模后备蒸馏路径，因此不能将差异完全归因于锚定 KL。按领域条件化的训练方案保留了 16.37 个百分点的工具调用增益；第二个随机种子下增益为 18.23 个百分点，并复现了摘要所述的两项能力保留结果，但数学结果依赖随机种子。 作者称各实验臂均预注册，各项比较在单台机器的一轮评估中使用配对条目。具体模型规模、数据集、样本量、划分、置信区间计算、消融及统计信息尚未验证。原研究对象是语言模型的工具调用与推理，材料未提供 EEG/BCI 验证；已有 EEG 相关工作尚未检索确认，不将其直接视为 BCI 算法贡献。