面向持续指令微调的在线表征保持

基于摘要分析。本文研究语言模型持续指令微调中的历史任务能力保持，提出 ReTAP（Representation-based Task Anchoring and Preservation），在学习当前任务的同时，将学生模型的隐藏状态与冻结的任务专属参考模型对齐，以减轻历史能力退化。 其机制针对回放响应前缀可能与当前学生实际生成前缀不一致的问题：在学生新采样的响应上进行表征匹配。每个训练阶段开始前，依据对应历史任务的验证性能，从已完成的学生检查点中选取参考模型；训练时将表征损失与当前任务的监督学习结合，不要求独立训练专家模型。隐藏状态的具体对齐位置、损失形式、采样流程及各项权重尚未验证。 作者报告，在八任务 TRACE benchmark 上，ReTAP 在三个模型骨干中，最终平均表现和后向迁移均优于所评估的持续学习方法。以独立训练的单任务模型为参照，Qwen2.5-7B-Instruct、Qwen3-1.7B 和 Qwen3-4B 上的平均分差分别为 0.91、1.47 和 0.32 分；各骨干上最佳竞争方法的对应差距分别为 2.85、4.23 和 2.71 分。这些数值是该基准平均分的差距，不能改写为 Accuracy 或百分比提升。任务顺序、数据划分、评分汇总方式、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有连续任务或跨会话更新需求的 EEG 解码，历史检查点作为任务参考、以隐藏表征约束更新的思路可能可复用；但语言生成中的响应前缀机制不能直接对应 EEG。迁移需明确 EEG 任务验证集、通道与表征对齐方式，并核算参考模型的存储和推理成本。低信噪比、跨被试差异及小样本验证集可能导致参考选择不稳定，或使历史表征约束妨碍新任务学习。一个可检验的小实验是在固定被试与通道设置的连续会话任务上，对比顺序微调、回放及加入历史参考表征约束的方法，同时记录旧会话性能、新会话性能与资源成本。相关 EEG 工作尚未检索确认。