跳到正文
OpenReview · State space models· Isaac Ning Lee; Leila Mahmoodi; Trung Le; Mehrtash Harandi·· 23 天前精选AI 评分76

状态空间模型的无样本回放持续学习

Exemplar-Free Continual Learning for State Space Models

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)在持续学习中因状态动力学更新而产生的灾难性遗忘,提出不需要保留历史任务样本的几何感知正则化框架 Inf-SSM。其核心贡献是约束模型的长期状态演化,而非仅限制参数更新;摘要中的实验对象为 ImageNet-R、CIFAR-100 和 Caltech-256 图像基准,并非 EEG 或 BCI 任务。 机制上,Inf-SSM 利用 SSM 可观测子空间的无限维 Grassmann 流形,对扩展可观测子空间所编码的无限时域状态演化施加正则化。作者认为,在无法访问历史任务完整分布时,这种约束能够限制状态动力学偏移。摘要未提供具体正则项、历史信息保存形式或与其他持续学习方法的组合细节,尚不能据此判断实现与存储开销。 作者指出,该正则化涉及求解 Sylvester 方程,通常计算复杂度为 O(n³);通过利用 SSM 的结构与性质,作者提出 O(n²) 的求解方案。摘要未说明 n 的具体定义、所需结构假设及数值误差,复杂度结论需结合正文核对。作者报告,在上述三个基准的顺序任务实验中,遗忘减少且准确率提高,但未给出任务划分、对照方法、数值或不确定性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务采用 SSM 序列建模,其状态动力学约束可能对应跨会话或连续任务更新中的遗忘问题,但图像任务有效不等于 BCI 有效。可考虑复用可观测子空间正则化与结构化方程求解模块,EEG 输入编码、通道适配及任务序列则需改造。低信噪比、跨被试差异和通道变化可能使保留旧动力学与适应新分布发生冲突,小数据下也可能出现过度约束。一个可检验的假设是:在固定通道、固定 SSM 骨干的跨会话 EEG 顺序训练中,与无正则化及参数约束基线相比,该机制能降低旧会话性能回落,同时不明显损害新会话学习;应使用独立测试集,并同步记录计算与存储开销。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以可观测子空间约束长期状态演化的持续学习机制,以及 Sylvester 方程求解复杂度降低的适用条件;摘要中的图像基准结果尚不能证明其对 EEG 持续学习有效。

来源:OpenReview · State space models · openreview.net