COPD：通过受保护子空间持续进行在线表征蒸馏

基于摘要分析。本文研究语言模型专项训练提升目标领域表现、却可能损害学生模型既有能力的问题，提出 COPD（摘要展开为 Continue On-Policy Distillation）：利用保护域激活估计近似零空间，仅让投影到该空间的教师—学生表征残差参与蒸馏，从而约束专项训练对既有表征的影响。 核心机制是直接限制表征教学信号，而不是仅依靠回放数据或额外正则化。保护提示用于估计子空间基，不额外引入回放目标或推理时模块。标题使用“Continue Online Representation Distillation”，与摘要中的名称展开存在差异，具体命名及子空间构造、更新方式仍需正文核对。 作者在两个 Qwen 模型家族上开展数学专项训练，以 MATH-500 及语言建模、常识和指令遵循探针评估专项能力与能力保留。作者报告，在 Qwen3-8B 的高目标表现设置下，COPD 获得 76.2% 的 MATH-500 成绩，同时保留 66.14% 的 LAMBADA 成绩，并拓展实验中观察到的基线权衡前沿；摘要未明确这些百分比的指标定义及完整评估协议。作者还报告，配对诊断在两个模型家族中均显示更好的 LAMBADA 能力保留，独立语料 WikiText-103 上的性能退化也有所减少。表征分析将这些收益与保护子空间内较小的末层表征变化联系起来，但摘要不足以确认因果关系。 平台推测（待验证）：若 EEG 模型已有稳定表征，并需针对新任务或新域继续蒸馏，这种选择性残差匹配可能用于限制旧能力受损。可复用的是激活子空间估计与残差投影，需改造的是保护数据选择及教师—学生表征对齐；低信噪比、通道变化和小样本可能使保护基不稳定，或抑制新任务所需更新。一个可检验的小实验是在固定模型、数据划分及训练预算下，对比普通蒸馏与投影蒸馏，分别测量新任务表现和旧任务保留。已有 EEG 相关工作尚未检索确认；论文的完整实验协议、消融及统计信息尚未验证。