CGR双通道概念约束缓解PEFT知识遗忘

基于摘要分析。本文研究参数高效微调（PEFT）中的预训练知识灾难性遗忘，提出可用于不同 PEFT 基础方法的 Concept-Guided Retention（CGR）正则项。核心思路是不仅限制权重更新方向，还约束激活层面的变化，以保留选定的通用概念。 机制上，CGR 利用冻结的稀疏自编码器（SAE），区分两个互不相交的概念集合：通过权重通道，将更新软性限制在任务概念子空间内；通过激活通道，使选定的通用概念锚定于冻结模型。作者还给出基于权重更新的锚定值界限，用于分析两类约束的相互作用，并报告两项约束均有必要。摘要未提供具体损失形式、概念筛选方式或正则强度设置。 作者报告，在 CLIP 视觉评估组中，CGR 对所评估的每种 PEFT 基础方法均在任务准确率相近的前提下显著改善知识保留；在 Llama-3.1-8B 指令微调的世界知识保留评估中也观察到相同趋势。摘要未给出数据集、划分、基线名称、数值及显著性检验细节，实验协议、消融及统计信息尚未验证。由于保护方向对应具名 SAE 概念，作者认为该方法具有可检查性与可控性，但概念解释质量及保护范围仍需核对。 平台推测（待验证）：若 EEG 基础模型能够通过冻结 SAE 获得稳定、可解释的概念方向，CGR 或可用于缓解跨被试或跨会话微调对通用表征的破坏。可复用的是双通道正则化思路，需改造的是 EEG 概念提取、任务与通用概念划分及锚定位置；低信噪比、通道差异和小数据可能使 SAE 概念不稳定，或将被试特征误当作通用概念。一个可检验的小实验是在固定跨被试划分与相同 PEFT 设置下，对比无 CGR、仅权重约束、仅激活锚定和完整 CGR，同时测量目标任务表现与原任务保留。该假设依赖可用预训练模型及足够的 SAE 训练数据，已有 EEG 相关工作尚未检索确认。