跳到正文
OpenReview · State space models· Xiaobin Chang·· 2025-06-15精选AI 评分73

无样本回放持续学习中用于构建抗漂移空间的 LoRA 相减方法

LoRA Subtraction for Drift-Resistant Space in Exemplar-Free Continual Learning

AI 导读

基于摘要分析。本文研究无样本回放持续学习(Exemplar-Free Continual Learning,EFCL)中的特征漂移与灾难性遗忘,提出抗漂移空间(Drift-Resistant Space,DRS),并通过参数高效微调方法 Low-Rank Adaptation Subtraction(LoRA-)构建该空间,以兼顾旧知识稳定性与新任务学习能力。 核心机制是在处理新任务数据之前,从初始预训练权重中减去旧任务的 LoRA 权重,以建立用于模型训练的 DRS。摘要将其与依赖静态特征或旧任务统计信息的方法区分:后者难以跟踪持续学习过程中的特征空间演变,而所提方法不要求显式特征建模或保留旧任务样本。这里的无样本回放不等于不保存任何历史状态,旧任务 LoRA 权重的保存、组合及更新方式仍需核对全文。作者还引入 triplet loss,主张在稳定特征漂移后增强可塑性;其样本构造、监督需求及与 LoRA- 的具体训练流程尚未验证。 作者报告,该方法在多个数据集上取得领先结果,尤其适用于长任务序列,并提升稳定性、效率与实现简洁性。摘要未提供数据集名称、任务划分、对照基线、性能数值或资源开销,因此无法判断这些结论的幅度与适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 跨会话持续学习中的遗忘确实部分来自模型特征漂移,LoRA 权重相减可能提供一种不保留历史 EEG 样本的适应机制,但这是迁移假设,并非本文已验证的 BCI 效果。可复用部分是预训练权重与低秩更新的相减操作;需改造 EEG 编码器的适配位置、任务边界定义及 triplet loss 的采样策略。低信噪比、通道变化、跨被试差异和小数据可能使任务更新难以分离,相减也可能损伤共享表征。一个可检验的小实验是在固定通道的 EEG 跨会话序列中,统一预训练模型、标签预算与评估划分,比较普通 LoRA、LoRA- 及去除 triplet loss 的版本,同时测量旧会话遗忘与新会话学习表现。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LoRA- 如何通过旧任务低秩权重相减缓解特征漂移,以及这种机制在长任务序列中维持稳定性与可塑性的证据;摘要所称领先结果及其向 EEG 持续学习的适用性尚未验证。

来源:OpenReview · State space models · openreview.net