仅评分的特权教师无法搜索：面向推理的批评条件化同策略自蒸馏

基于摘要分析。本文研究推理任务中的同策略自蒸馏：当教师获得参考解答并为学生自身生成的推理轨迹评分时，稠密的 token 级信号是否真正具有纠错作用。作者提出 critique-conditioned self-distillation，先针对当前轨迹生成批评，再让评分教师以该批评为条件提供蒸馏信号。 诊断方法是利用学生轨迹中的金标准错误片段，检查自蒸馏目标使用的两类信号——完整分布上的 KL 与 token 对数比——能否定位错误，并降低错误 token 的概率。作者报告，在所考察的设置中，这两类信号均未体现上述性质，也不能可靠地区分同一道题的正确与错误轨迹。作者将其解释为结构性问题：定位推理错误本身需要搜索，而仅执行评分的教师并未被显式要求完成这一搜索；同一模型获得相同特权信息、但被允许生成批评时，错误定位表现更好。 作者报告，以生成的批评为条件后，评分信号能够定位错误，在错误片段内具有纠错方向，并提高“Wait”“But”“Actually”等启动回溯的 token 的概率。在测试时，作者报告将批评放入上下文并续写错误轨迹，可以解出模型此前通过采样未能解决的数学题；在冷启动 GRPO 中，批评还可为仅靠可验证奖励无法提供优势信号的提示提供训练信号。摘要未给出这些结果对应的数据集、模型规模、采样预算或数值，不能据此判断收益大小。 复现时需核对错误片段的标注方式、批评生成与评分所用信息、具体蒸馏目标，以及测试时计算预算和 GRPO 对照协议。实验协议、消融及统计信息尚未验证。该研究的主要对象是语言模型推理，材料未提供 EEG/BCI 验证，不能将其结论直接视为神经信号解码效果。