跳到正文
OpenReview · State space models· Haomiao Qiu; Miao Zhang; Ziyue Qiao; Weili Guan; Min Zhang; Liqiang Nie·· 2025-01-01精选AI 评分73

SplitLoRA:通过梯度空间划分平衡持续学习中的稳定性与可塑性

SplitLoRA: Balancing Stability and Plasticity in Continual Learning Through Gradient Space Splitting

AI 导读

基于摘要分析。本文研究通用持续学习中保留旧任务知识与有效学习新任务之间的矛盾,提出基于 Low-Rank Adaptation(LoRA)的 SplitLoRA,通过划分既有任务的梯度空间来调节稳定性与可塑性。 摘要介绍的梯度投影范式将既有任务的梯度空间分为相互正交的主子空间和次子空间,使新任务主要在次子空间中学习,以减少对旧知识的干扰。本文针对如何恰当划分这两个子空间的问题,先分析子空间划分对稳定性与可塑性的影响,再据此提出划分方法。作者称该方法能够导出最优划分,但具体优化目标、理论假设与最优性适用范围尚未验证;LoRA 参数如何参与投影、子空间如何估计和更新,也需查阅全文。 作者报告在多个数据集上达到最先进性能,但摘要未提供数据集名称、任务序列、对照方法、评价指标或具体数值,因而不能据此比较其遗忘程度、新任务学习能力与计算开销。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码模型采用 LoRA,并需要随新被试或新会话顺序更新,该方法的梯度约束机制可能用于研究适应新分布与保持旧分布性能的权衡。此假设依赖旧任务梯度信息可被可靠估计;子空间划分机制可能复用,但需适配 EEG 骨干模型、通道布局及持续更新协议。低信噪比、小样本和跨被试差异可能使梯度子空间估计不稳定,限制可迁移性。可在固定任务顺序、LoRA 秩及训练预算下,对比普通顺序 LoRA、梯度投影基线与 SplitLoRA,同时记录新会话性能和旧会话性能变化。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。

阅读价值

值得核对其梯度子空间划分的理论条件与实现方式,以判断 SplitLoRA 如何调节持续学习中的旧任务保持与新任务适应;摘要中的性能主张及其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net