SPACE-LoRA:为持续学习分配激活子空间保护
SPACE-LORA: ALLOCATING ACTIVATION-SUBSPACE PROTECTION FOR CONTINUAL LEARNING
基于摘要分析。该研究针对使用 Low-Rank Adaptation(LoRA)顺序学习多个任务时的灾难性遗忘,提出 Subspace Protection with Allocated Capacity for Efficient Continual Adaptation(SPACE-LoRA),通过保护旧任务重要的输入激活方向,并自适应分配各模块的保护范围,降低新增适配器对历史预测的干扰。 核心机制是处理“加性干扰”:即使过去的模型保持固定,新加入的残差适配器仍可能沿旧任务重要的输入方向产生非零响应,改变原有预测。与主要约束参数更新或学习子空间的思路相比,SPACE-LoRA 将保护对象直接设为新残差分支在这些激活方向上的响应。方法依据过去任务的 Fisher 敏感性估计,使用共同的敏感性覆盖目标,在固定 LoRA 秩下自适应调整各模块的保护覆盖范围。具体约束形式、敏感性估计方式及历史激活的存储需求尚未验证。 作者说明评估了激活子空间保护对灾难性遗忘的缓解作用,以及敏感性引导保护在多种任务持续学习中的作用,但摘要未提供任务名称、数据集、划分、对照基线或量化结果,不能据此判断收益幅度。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现内容及复现条件尚未核对。 平台推测(待验证):假设 EEG 解码模型采用 LoRA 进行顺序适配,旧任务敏感的激活方向可能对应需要保留的解码特征,这一保护机制可用于探索跨会话持续适配中的遗忘问题。可复用部分是残差响应保护和模块级容量分配;需改造部分包括 EEG 特征表示、历史激活采样与敏感性估计。低信噪比、通道变化及小样本可能使保护方向不稳定,过强保护也可能阻碍新会话适配。一个可检验的小实验是在同一 EEG 数据集的顺序会话协议下,以相同 LoRA 秩比较普通 LoRA、固定覆盖保护与敏感性引导保护,同时测量旧会话性能保留和新会话适配性能。该设想不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。
值得阅读其对 LoRA 新增残差分支“加性干扰”的机制分析,以及固定秩下按历史任务敏感性分配激活子空间保护范围的方法;实际抗遗忘收益尚需核对全文实验。
来源:OpenReview · State space models · openreview.net