跳到正文
OpenReview · State space models· Isaac Ning Lee; Leila Mahmoodi; Trung Le; Mehrtash Harandi·· 2025-12-31精选AI 评分78

状态空间模型的无样本持续学习

Exemplar-Free Continual Learning for State Space Models

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)在不保留旧任务样本的持续学习(CL)中如何缓解灾难性遗忘,提出几何感知正则化方法 Inf-SSM。其核心不是直接约束权重更新,而是利用无限维 Grassmannian 的几何结构,约束扩展可观测子空间所编码的 SSM 无限时域演化。 机制上,作者将遗忘问题与持续更新过程中缺少旧数据约束的动态状态演化联系起来,通过上述子空间正则化保持模型的长期动态特性。作者指出,该正则化需要求解 Sylvester 方程,通常复杂度为 O(n³);利用 SSM 的结构与性质,作者提出 O(n²) 的求解方法。摘要未定义 n 的具体含义,也未说明加速所需的结构条件、正则项形式及数值稳定性,这些均需核对正文。作者称该机制可集成到现有 CL 方法中。 在包含 ImageNet-R 和 Caltech-256 的顺序任务基准实验中,作者报告遗忘减少且准确率提高;摘要未提供具体数值、任务划分、对照方法及准确率计算口径,不能据此判断提升幅度或跨协议优势。实验协议、消融及统计信息尚未验证,代码与复现配置亦尚未验证。原论文提供的是通用持续学习机制及图像基准证据,而非 EEG 或 BCI 验证。 平台推测(待验证):若 EEG 解码器采用满足该求解条件的 SSM,且跨会话更新时无法保留历史数据,Inf-SSM 或可用于约束更新引起的长期动态漂移。可复用的是子空间正则化与方程求解机制,需改造 EEG 输入编码、任务设置及会话更新流程。该假设依赖可比较的状态表示和新会话监督;低信噪比、通道变化、被试差异及小样本可能使旧动态约束保留噪声,或阻碍必要的适应。可在固定通道的单被试 Cross-session 协议中,不回放旧会话样本,对比同一 SSM 加入与不加入 Inf-SSM 后的旧会话性能保持、新会话 Accuracy 及更新开销,以检验其遗忘—适应权衡。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以扩展可观测子空间约束 SSM 状态演化的正则化机制及 Sylvester 方程加速条件;作者报告其可减少无样本持续学习中的遗忘,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net