通过合成自蒸馏对小模型进行持续后训练

基于摘要分析。本文研究小模型持续后训练中学习新能力与保留既有知识的矛盾，提出 Synthetic Self-Distillation（SynthSelf）：由同系列、规模略大的 aligner 承担分布内改写任务，结合 off-policy 监督与拒绝采样，为小模型提供监督并尽量保持其原有分布。 机制与动机：Self-Distillation Fine-Tuning（SDFT）利用上下文示例进行自监督，但依赖较强的上下文学习与指令遵循能力。作者报告，SDFT 在其考察的小模型上失效，且新能力习得不足及遗忘程度与后训练模型的分布偏移呈线性相关。SynthSelf 据此将分布内改写交由外部 aligner 完成，而非要求小模型自行生成足够好的监督。摘要未明确分布偏移的定义、改写对象、监督格式、损失函数及拒绝采样准则；相关性也不应直接理解为已建立因果关系。 评估与证据边界：作者报告，在覆盖 4 个能力习得数据集（含混合设置）、14 个知识保持基准及 3 种小模型规模的评估中，SynthSelf 一致优于 6 种对照方法，其中包括 off-policy 与 on-policy 蒸馏。摘要未提供模型名称、参数规模、数据划分、具体指标、提升幅度或计算开销，因而尚不能量化收益与部署成本；实验协议、消融及统计信息尚未验证。 与 BCI 的关系：原研究对象是具备上下文学习及指令遵循能力的小模型，并非 EEG 解码。平台推测（待验证）：分布约束式监督可能为持续更新中的知识保持提供方法启发，但摘要不足以建立其与 EEG 跨被试、跨会话分布变化的具体对应关系；已有 EEG 相关工作尚未检索确认，不能据此声称具有 BCI 有效性。