跳到正文
OpenReview · State space models· Sihao Liu; Yibo Yang; Xiaojie Li; David A. Clifton; Bernard Ghanem·· 2025-01-01精选AI 评分71

通过即插即用状态空间模型与类别条件离散化混合增强在线持续学习

Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization

AI 导读

基于摘要分析。该研究面向在线持续学习(OCL):数据流中的训练数据仅出现一次,模型需学习新任务并保留旧任务知识。作者提出即插即用模块 S6MOD,重点增强模型对在线数据的适应能力,以补充现有回放方法侧重记忆保持的思路。 机制上,S6MOD 在骨干网络之后增加一个分支,通过离散化混合选择性调整选择性状态空间模型的参数,丰富 selective scan 模式,使模型能够针对当前动态选择合适的离散化方法。作者进一步设计基于不确定性动态调整的类别条件路由算法,并以 contrastive discretization loss 优化该机制。摘要未给出离散化候选、路由输入、不确定性估计方式及损失公式,具体实现尚未验证。 作者报告,将 S6MOD 与多种模型结合后,模型适应能力及性能得到显著提升,并声称达到最先进结果;但摘要未提供数据集、任务序列、指标、数值、回放预算或对照配置,无法据此量化增益或比较不同协议。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现细节与复现条件尚未核对。 平台推测(待验证):其原问题是一次性数据流中的增量适应,而非 EEG 解码。若 EEG 在线解码存在随会话变化的动态特征,离散化混合可能为适应这些变化提供候选机制;可复用部分是附加分支与路由思路,需改造 EEG 特征接口并核对类别条件路由对标签或预测信息的依赖。低信噪比可能使不确定性估计不稳定,被试差异、通道变化和小数据也可能导致路由失效。一个可证伪的小实验是在固定 EEG 骨干、相同数据顺序与回放预算下,对比原方法和加入 S6MOD 的方法,分别评估新数据适应表现与旧数据性能保持,并核对计算开销及路由稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 S6MOD 如何通过离散化混合与类别条件路由改善在线持续学习的适应能力,以及其相对于回放方法的增益;摘要中的性能主张与 EEG 迁移价值仍需分别验证。

来源:OpenReview · State space models · openreview.net