跳到正文
OpenReview · State space models· Biqing Qi; Junqi Gao; Kaiyan Zhang; Dong Li; Jianxing Liu; Ligang Wu; Bowen Zhou·· 2024-01-01精选AI 评分77

SMR:用于长序列建模的状态记忆回放

SMR: State Memory Replay for Long Sequence Modeling

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)在非均匀采样及训练、测试采样点不一致时的稳定性与计算兼容性,提出 State Memory Replay(SMR),通过可学习记忆引入多步信息,调整当前状态,以改善不同采样点下的长序列建模。 作者指出,S5 与 S6(Mamba)处理非均匀采样时的递归结构限制了高效卷积计算,并提出非递归的非均匀采样处理策略。其理论分析借助 Event-Triggered Control(ETC,事件触发控制),将偏离采样点要求后误差传播、累积并导致隐藏状态发散的问题称为 Non-Stable State(NSS)。作者进一步认为,利用早期记忆调整输入序列可缓解 NSS,实现 Sampling Step Adaptation(SSA);SMR 据此以可学习记忆调整当前状态。摘要未提供具体更新公式、记忆组织方式及额外计算开销,尚不能判断其实现细节或理论适用边界。 作者报告,在自回归语言建模和 Long Range Arena 的长程建模任务中,SMR 对一系列 SSM 模型具有有效性。摘要未给出具体模型配置、数据划分、采样扰动协议、对照基线及指标数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务存在采样率变化或不规则时间间隔,SMR 的采样步长适应机制可能具有参考价值,但原文研究对象是通用长序列建模,不构成 BCI 有效性证据。迁移假设依赖可追踪的采样时间及足够的长程信息;可复用状态记忆调整思路,需改造多通道 EEG 输入与时间间隔表示。低信噪比可能使记忆累积伪迹,跨被试差异、通道变化与小数据也可能削弱泛化。可在固定被试及数据划分下,仅对测试序列施加受控重采样或不规则抽样,对比同一 SSM 加入 SMR 前后的任务指标与状态稳定性,检验增益是否确与采样变化相关。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以 Event-Triggered Control 分析采样变化下状态误差累积的理论条件,以及 State Memory Replay 能否在保持并行卷积兼容性的同时改善采样步长泛化;其对 EEG 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net