跳到正文
OpenReview · State space models· Biqing Qi; Junqi Gao; Kaiyan Zhang; Dong Li; Jianxing Liu; Ligang Wu; Bowen Zhou·· 2024-01-01精选AI 评分77

SMR:用于长序列建模的状态记忆回放

SMR: State Memory Replay for Long Sequence Modeling

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)在非均匀采样及采样点变化下的长序列建模问题,提出 State Memory Replay(SMR),通过可学习记忆引入多步信息来调整当前状态,旨在提高模型对不同于训练数据采样点的泛化能力。 作者指出,S5、S6(Mamba)等模型处理非均匀采样时,其递归结构限制了通过卷积实现高效并行计算。论文从 Event-Triggered Control(ETC)理论分析 SSMs,将偏离采样点要求后误差传播、累积并导致隐藏状态发散的现象称为 Non-Stable State(NSS)问题。作者进一步提出,利用早期记忆调整输入序列可缓解该问题,实现 Sampling Step Adaptation(SSA);SMR 则将这一思路实现为即插即用机制。其具体记忆参数化、状态更新公式及非递归计算实现尚未验证。 作者报告,在自回归语言建模和 Long Range Arena 的长程建模任务上,SMR 对一系列 SSM 模型具有普遍有效性。摘要未提供具体模型配置、数据划分、指标、收益幅度或计算开销,因此不能判断其相对于各基线的改善程度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 长序列任务确实涉及采样间隔变化,SMR 的多步记忆校正可能具有方法借鉴价值,但通道缺失、噪声和跨被试差异并不等同于采样点偏移。可复用的候选是记忆校正机制,需适配 EEG 多通道输入与采样时间表示;低信噪比和小数据条件下,可学习记忆可能放大伪迹或过拟合。一个可检验的小实验是在固定被试内划分、控制标签和训练数据量的前提下,仅对测试信号施加不同程度的非均匀采样,比较同一 SSM 加入 SMR 前后的任务指标、状态稳定性与计算开销。该假设不构成已验证的 EEG/BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何以可学习记忆缓解采样点变化下的状态误差累积,以及该机制能否兼顾非均匀采样与并行卷积计算;摘要尚不足以确认具体收益与适用边界。

来源:OpenReview · State space models · openreview.net