跳到正文
arXiv · 在线与高效推理· Ibna Kowsar; Ivan Medri; Fanyu Meng; Xin Liu·· 1 天前精选AI 评分77

限定于任务,锚定其余:用于参数高效微调的概念引导保留正则项

Confine to the Task, Anchor the Rest: Concept-Guided Retention Regularizer for Parameter-Efficient Fine-Tuning

AI 导读

基于摘要分析。本文研究参数高效微调(PEFT)中的预训练知识灾难性遗忘,提出可用于不同 PEFT 基础方法的 Concept-Guided Retention(CGR)正则项。核心思路是不仅限制权重更新方向,还约束激活层面的变化,以保留选定的通用概念。 机制上,CGR 利用冻结的稀疏自编码器(SAE),区分两个互不相交的概念集合:通过权重通道,将更新软性限制在任务概念子空间内;通过激活通道,使选定的通用概念锚定于冻结模型。作者还给出基于权重更新的锚定值界限,用于分析两类约束的相互作用,并报告两项约束均有必要。摘要未提供具体损失形式、概念筛选方式或正则强度设置。 作者报告,在 CLIP 视觉评估组中,CGR 对所评估的每种 PEFT 基础方法均在任务准确率相近的前提下显著改善知识保留;在 Llama-3.1-8B 指令微调的世界知识保留评估中也观察到相同趋势。摘要未给出数据集、划分、基线名称、数值及显著性检验细节,实验协议、消融及统计信息尚未验证。由于保护方向对应具名 SAE 概念,作者认为该方法具有可检查性与可控性,但概念解释质量及保护范围仍需核对。 平台推测(待验证):若 EEG 基础模型能够通过冻结 SAE 获得稳定、可解释的概念方向,CGR 或可用于缓解跨被试或跨会话微调对通用表征的破坏。可复用的是双通道正则化思路,需改造的是 EEG 概念提取、任务与通用概念划分及锚定位置;低信噪比、通道差异和小数据可能使 SAE 概念不稳定,或将被试特征误当作通用概念。一个可检验的小实验是在固定跨被试划分与相同 PEFT 设置下,对比无 CGR、仅权重约束、仅激活锚定和完整 CGR,同时测量目标任务表现与原任务保留。该假设依赖可用预训练模型及足够的 SAE 训练数据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用 SAE 概念同时约束权重更新与激活漂移的机制,以及知识保留与任务准确率之间的权衡;摘要中的跨模型结果尚需全文实验协议支持。

来源:arXiv · 在线与高效推理 · arxiv.org