Projected Distillation：从临近且正确的目标中学习求解难题

基于摘要分析。本文研究语言模型后训练中难题学习与原有能力保留的冲突，提出 projected distillation：将学生模型的失败尝试尽量少量修改为正确目标，使监督既能纠错，又贴近学生当前的生成分布。研究对象是语言模型后训练，并非 EEG 解码或 BCI。 核心机制是把 on-policy 程度视为连续变量。作者指出，当学生所有尝试均失败时，on-policy RL 无法提供基于奖励的学习信号；逐 token 的 on-policy distillation 则可能在已出错的前缀上继续施加监督。直接使用标准答案或教师完整解答虽可提供正确目标，却可能偏离学生分布。该方法用对比更新使纠正后的答案优于原失败尝试，并随学生变化刷新纠正目标。摘要未给出具体编辑算法、正确性判定与损失公式。 理论方面，作者报告学习遗憾随编辑幅度增大：最小纠正时随时域长度线性增长，类似 DAgger；完整答案替换时呈二次增长，类似 behavior cloning。上述结论的假设条件及适用范围需核对全文。 实验覆盖 Qwen3-8B、OLMo-2-7B 两个学生模型，以及涉及数学、代码、科学和工具使用的五个领域。作者报告，以专项能力—原有能力保留前沿下的面积衡量，相对 GRPO 和 OPD 在 9 个评估单元中有 8 个最优，相对 SPOT 和 SODA 有 7 个最优；评估单元构成及聚合方式尚未验证。作者还报告，将最小纠正替换为不依赖学生尝试的标准答案后，能力保留指标由 0.916 降至 0.744；该指标的定义、量纲及对应设置尚未验证，不能解读为 Accuracy。作者将消融结果解释为在线纠正、对比损失及贴近 on-policy 分布的重要性。 平台推测（待验证）：若用于生成 EEG 分析代码的语言模型代理，可复用“失败轨迹—最小正确修复”的训练机制，但需建立可执行的正确性检查与领域能力保留测试，而非直接迁移为信号解码算法。小规模实验可在固定任务划分下比较最小修复与完整答案替换，并同时测量新任务成功率和旧任务保留；小数据、错误修复标签及修复幅度难以定义均可能使该假设失败。已有 EEG 相关工作尚未检索确认。