受控词元替换评估策略蒸馏中的教师纠正

基于摘要分析。本文研究 On-Policy Distillation（OPD）中教师的优势如何分布于学生自行生成的轨迹，并从知识蒸馏（KD）视角分析哪些教师纠正真正带来准确率收益。其核心贡献是利用受控 token 替换与 fork-resolution analysis，考察学生学到了哪些教师偏好，以及进一步干预还能恢复多少性能，而非仅看最终准确率。 方法上，作者在教师与学生预测不一致的位置实施受控 token 替换，直接测量教师纠正带来的准确率变化。作者报告，在选定的失败轨迹上，单次 token 替换的平均收益有限；在重复替换的评估中，准确率由 28.4% 提升至 74.5%，接近教师的 76.9%。这些结果对应摘要所述的轨迹干预设置，不能直接视为 OPD 训练后的整体性能提升；具体任务、样本筛选与评估口径尚未验证。 作者报告，随着替换次数增加，收益持续累积；在替换次数相近时，基于 mass 和 KL 的位置选择比随机替换高出 15–18 个百分点。摘要未明确 mass 的具体定义及选择规则。作者还报告，OPD 后选择性干预仍有价值，但教师与学生的 argmax 一致性提高，并不在不同模型配对中稳定对应更高准确率。这提示输出一致性与任务正确性需要分开评估。 作者据此主张，训练调度应优先学习更有价值的教师纠正，同时保持分布稳定性；摘要未给出可复现的调度实现。模型配对、数据集、训练成本、干预细节、消融及统计信息尚未验证。原研究对象是学生生成轨迹上的蒸馏机制，材料未提供 EEG/BCI 验证或明确的神经信号任务对应关系，因此不能据此推断其具有 BCI 效果。