跳到正文
OpenReview · State space models· Shida Wang; Qianxiao Li·· 2024-05-02精选AI 评分80

StableSSM:通过稳定重参数化缓解状态空间模型的记忆诅咒

StableSSM: Alleviating the Curse of Memory in State-space Models through Stable Reparameterization

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)的长期记忆学习能力,核心贡献是从参数化角度解释其记忆限制,并提出一类重参数化方法,以缓解长期依赖的稳定逼近限制及改善优化稳定性。原论文主要面向通用序列建模,验证任务涉及合成数据、语言模型和图像分类,并非 EEG 或 BCI 实验。 理论机制方面,作者报告证明:在其分析条件下,未经重参数化的 SSM 存在类似传统 RNN 的记忆限制,可被稳定逼近的目标关系必须具有指数衰减的记忆。作者将这种“记忆诅咒”归因于循环权重趋近稳定性边界,并据此提出一类重参数化技术。摘要还指出,合理选择重参数化方案不仅可以改善逼近能力,也可增强优化稳定性;具体参数映射、理论假设及适用的 SSM 形式尚未验证。 作者报告在合成数据、语言模型和图像分类任务上验证了上述发现,但摘要未提供具体数据集、指标、基线或定量结果。实验协议、消融及统计信息尚未验证,不能据此判断提升幅度,也不能直接推广到其他任务。 平台推测(待验证):若 EEG 任务确实依赖较长时间跨度的信息,StableSSM 的参数化机制可能对应长期依赖保持与训练稳定性的瓶颈。可考虑复用重参数化模块,但 EEG 输入表示、通道处理与任务输出需另行适配;其效果可能受低信噪比、跨被试差异及小数据条件限制,长记忆也可能保留无关噪声。一个可检验的小实验是在固定 EEG 数据划分、骨干与训练预算下,仅替换 SSM 参数化方式,比较任务性能、训练稳定性以及不同输入窗口长度的影响。该建议是迁移假设,不是作者已验证的结论;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其对 SSM 长期记忆能力与参数化稳定性的理论联系,以及稳定重参数化对逼近和优化的作用;对 EEG 长时序建模的价值尚未验证。

来源:OpenReview · State space models · openreview.net