通过即插即用状态空间模型与类别条件离散化混合增强在线持续学习
Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization
基于摘要分析。该研究针对在线持续学习(OCL)中数据流仅出现一次、模型需学习新任务并保留旧任务知识的问题,提出可插拔模块 S6MOD,试图补足现有回放方法偏重知识保留、对模型适应性关注不足的问题。其主要研究对象是通用 OCL,而非 EEG 或 BCI。 机制上,S6MOD 在骨干网络之后增加额外分支,通过离散化混合选择性地调整选择性状态空间模型的参数,丰富 selective scan 模式,使模型能针对当前动态选择敏感的离散化方法。作者进一步设计类别条件路由算法,依据不确定性进行动态调整,并使用 contrastive discretization loss 优化该机制。摘要未给出离散化候选方法、路由输入、不确定性计算及损失的具体形式,这些实现细节尚未验证。 作者报告,将 S6MOD 与多种模型结合的实验提升了模型适应性并取得显著性能增益,且达到 state-of-the-art 结果;但所给材料未提供数据集、任务序列、回放预算、评估指标、对照基线或具体数值,尚不能判断增益幅度及其适用条件。实验协议、消融及统计信息尚未验证;复现需取得完整实现、训练配置与评估协议。 平台推测(待验证):若类别条件路由能在流式训练中稳定利用监督信息,该机制可能对应 EEG 在线解码中信号动态变化与旧类别遗忘的瓶颈。可复用部分是附加状态空间分支和路由思想,需改造 EEG 时序特征接口,并核对在线标签可用性;低信噪比、跨被试及通道变化可能使不确定性估计和路由不稳定,小数据也可能增加分支过拟合风险。一个可检验的假设是:在固定骨干、回放预算和标签获取规则的 EEG Cross-session 单遍数据流中,加入该模块能改善当前会话 Accuracy,同时不加剧旧会话性能下降;可与不加模块及固定离散化版本对照。相关 EEG 工作尚未检索确认。
S6MOD 将在线持续学习的改进重点从知识保留转向模型适应性,其可插拔状态空间分支与类别条件离散化路由值得核对和复现,但摘要中的性能主张及其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net