GR-OPD：用于同策略蒸馏的组相对序列信用分配

基于摘要分析。本文研究语言模型同策略蒸馏（On-Policy Distillation，OPD）中的信用分配问题：常见的采样 token 更新仅分配局部信用，未计入较早动作对后续教师反馈的影响。作者提出 GR-OPD，将 token 级反馈聚合为经过校准的序列级信用，使反馈计算与信用分配解耦。 理论上，作者指出，在理想同策略假设下，将原始反馈总和广播给回答中的每个 token，可得到序列级 reverse-KL 目标负梯度的无偏估计。这一结论依赖其理论假设，不能直接视为实际训练条件下的无偏保证。实践中，方法对可能因分布偏移而降低可靠性的较晚反馈进行折扣，并利用同一提示下的 rollout 组校准教师指导：在保留回答间相对偏好的同时，保留受控比例的组均值，作者称其为 collective teacher pressure（集体教师压力）。 作者报告，在五种 Qwen3 教师—学生配置、六个数学推理基准上，GR-OPD 的 macro Avg@K 在所有配置中均优于 vanilla OPD；其中两种思考模式匹配的配置分别提升 10.9 和 11.5 个百分点。作者还报告，在思考模式不匹配、vanilla OPD 训练崩溃的条件下，GR-OPD 仍保持稳定训练。摘要所述消融表明，保留适量集体教师压力有助于学习，但过强的压力或不受限制的反馈时域可能使训练失稳。 尚需核对具体模型配置、基准名称、K 值、采样与数据划分、训练预算、折扣及校准公式，以及消融细节和统计信息。本文主要研究语言模型数学推理蒸馏，摘要未提供 EEG/BCI 验证；其向神经信号任务的适用性尚未验证，已有 EEG 相关工作尚未检索确认。