Mamba-CL:在零空间中优化选择性状态空间模型以实现持续学习
Mamba-CL: Optimizing Selective State Space Model in Null Space for Continual Learning
基于摘要分析。该研究面向持续学习中的灾难性遗忘,提出 Mamba-CL,通过在历史任务特征子空间的正交方向更新参数,持续微调大规模 Mamba 基础模型的核心 SSM,力求保留既有知识并学习新任务。 核心机制是将参数更新限制在历史特征子空间对应的零空间内。作者围绕 Mamba 的四个关键时不变参数推导整体一致性约束,处理 SSM 的递归状态空间结构与非线性离散化过程,再以零空间投影实现正交更新。作者声称,该方法在理论上保证各 SSM 模块在先前与当前任务上的输出一致性目标;具体保证的假设、约束范围,以及模块级一致性如何对应最终任务性能,需结合全文核对。 作者报告,在四个类别增量学习基准上,Mamba-CL 展现出抗遗忘效果,性能优于所比较的先进方法。摘要未提供基准名称、任务序列、数据划分、指标或具体数值,因此无法判断提升幅度及不同协议下的可比性。实验协议、消融及统计信息尚未验证。摘要称代码位于补充材料中,但其可获取性、运行配置与复现要求尚未核对。 平台推测(待验证):该机制可能对应 EEG 持续学习中新增类别或连续会话更新引起的遗忘,但依赖历史特征子空间能稳定表征需保留的知识。可复用的是零空间投影与参数一致性约束;需改造的是 EEG 时序输入、通道适配和特征子空间估计。低信噪比、跨被试差异、通道变化及小样本可能使子空间估计不稳定,或过度限制更新、妨碍新任务学习。一个可检验的假设是:在固定 EEG 类别增量协议下,使用相同 Mamba 骨干与数据划分,对照普通顺序微调和零空间约束更新,检验历史类别 Accuracy 的保留是否以新类别学习能力下降为代价。上述迁移不属于本文已验证结果,已有 EEG 相关工作尚未检索确认。
值得核对其针对 Mamba 核心 SSM 参数推导的一致性约束与零空间投影实现,尤其是理论保证的适用条件及抗遗忘与新任务学习能力之间的权衡。
来源:OpenReview · State space models · openreview.net