跳到正文
OpenReview · State space models· Thai Khanh Nguyen; Vo Ngoc Bich Uyen; Thieu Vo; Tan Minh Nguyen; Cuong Pham·· 2026-05-01精选AI 评分75

MuonSSM:通过正交化状态空间模型实现序列建模

MuonSSM: Orthogonalizing State Space Models for Sequence Modeling

AI 导读

MuonSSM 面向通用长序列建模,针对状态空间模型(SSMs)在长时间跨度下的训练不稳定与记忆退化,提出通过调节记忆更新的几何性质改善稳定性的框架。基于摘要分析,未取得论文全文;原论文研究对象是语言、视觉与时间序列任务,并非已验证的 EEG 或 BCI 方法。 核心机制是在 SSM 中加入基于动量的路径,并对低秩输入注入应用轻量 Newton-Schulz 变换。其调节对象是记忆更新,而非循环转移矩阵;作者称该机制可产生有界、谱条件得到改善的更新,并保持并行扫描复杂度。具体变换公式、动量更新方式、低秩结构及额外计算成本尚未验证,不宜将其直接等同于对所有模型权重施加正交约束。 作者报告,理论分析支持该框架改善梯度传播、缓解谱放大并丰富长时间跨度的记忆表示;在语言、视觉和时间序列基准上,将其整合至不同 SSM 骨干后,准确率、鲁棒性及长上下文表现均有改善。摘要未提供基准名称、具体指标、数值、数据划分或对照配置,实验协议、消融及统计信息尚未验证,理论结论的适用条件也需查阅全文。 平台推测(待验证):若 EEG 序列模型的性能瓶颈确实涉及长跨度记忆更新不稳定,该更新调节机制可能具有迁移价值。可复用部分是动量路径与输入注入变换;需适配 EEG 的多通道表示、采样尺度及既有 SSM 骨干。该假设依赖模型存在可改造的低秩输入注入结构,不能据摘要判断其监督与训练规模要求。低信噪比可能使稳定更新仍持续积累噪声,跨被试分布差异、通道配置变化及小数据训练也可能削弱收益。 一个可检验的小实验是在固定 EEG 任务、划分与训练预算下,对比同一 SSM 骨干加入该机制前后的任务指标、梯度稳定性和计算开销,并分开报告被试内与跨被试结果;这只是迁移假设的验证建议,不是论文已完成的实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其对低秩输入注入进行几何调节、而非约束循环转移矩阵的稳定化机制,以及该机制是否能在保持并行扫描复杂度的同时改善长序列记忆。

来源:OpenReview · State space models · openreview.net