SplitLoRA:通过梯度空间划分平衡持续学习中的稳定性与可塑性
SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting
基于摘要分析。本文研究持续学习中保留旧任务知识的稳定性与学习新任务的可塑性之间的矛盾,提出基于 Low-Rank Adaptation(LoRA)的 SplitLoRA,通过划分旧任务的梯度空间来协调两者。主要研究对象是通用持续学习方法,摘要未提供 EEG 或 BCI 实验。 核心机制:正交投影类方法将旧任务梯度空间分成相互正交的主子空间与次子空间,使新任务主要在次子空间内学习,以减少对旧知识的干扰。作者指出,现有方法难以恰当地确定划分边界;SplitLoRA 先分析子空间划分对稳定性和可塑性的影响,再据此构造作者所称的最优梯度空间划分方法。摘要未给出最优性的目标、假设与适用范围,也未说明梯度空间的估计方式、划分准则及其与 LoRA 参数更新的具体结合方式,这些均需正文核对。 结果与复现:作者报告在多个数据集上的实验达到 SOTA,但摘要未列出数据集、任务序列、评价指标、对照方法或数值,不能据此比较性能与遗忘程度。材料提供了代码仓库地址,但代码内容及运行条件尚未验证;实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 跨会话或跨被试的顺序适应也可用旧任务梯度子空间约束新任务更新,该机制可能用于缓解适应过程中的旧任务遗忘。可复用的是 LoRA 更新与梯度子空间划分思路,需改造的是 EEG 主干模型、任务定义及梯度估计流程。其依赖可训练模型、连续任务数据与可估计的任务梯度;具体监督方式和数据规模要求尚未验证。低信噪比、小样本及通道变化可能使旧任务梯度空间估计不稳,而过强约束可能妨碍学习新的被试特征。 一个可检验的小实验是在固定通道、相同顺序任务和标注预算下,对比 SplitLoRA、普通 LoRA 顺序微调及一种正交投影基线,同时测量新会话性能与旧会话性能变化,检验其是否真正改善二者的权衡。该方案不是论文已验证结果;已有 EEG 相关工作尚未检索确认。
值得阅读其梯度子空间划分的理论分析与 LoRA 持续学习实现,以核对稳定性与可塑性平衡的依据;摘要所述性能优势及向 EEG 持续适应的迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net