跳到正文
OpenReview · State space models· Aryan Dadwal·· 2026-05-26精选AI 评分76

状态的幻象:线性 SSM 中记忆衰减的紧确界

The Illusion of State: Sharp Memory-Decay Bounds in Linear SSMs

AI 导读

基于摘要分析。本文研究线性状态空间模型(SSM)的记忆衰减,指出仅凭稳定转移矩阵的谱半径描述记忆能力并不充分。作者通过 Jordan 标准形分析提出紧确渐近规律 Θ(k^{m−1}ρ^k),将非对角化动力学产生的多项式暂态与有效上下文长度联系起来,主要贡献是序列建模的记忆理论,而非 EEG/BCI 方法。 其中,ρ 为转移算子的谱半径,m 为主导 Jordan 块的大小,k 表示时间滞后。该规律表明,在指数衰减之外还存在多项式因子;非对角化结构可能使有效记忆范围长于仅依据谱半径所得的预测,但这不等于稳定系统具有永久记忆。作者称进一步给出了隐藏状态记忆和输入输出记忆的匹配上下界,以 Gramians 建立可控性—可观性刻画,并将分析推广至包括 Mamba 风格选择性 SSM 在内的时变门控架构。不同记忆定义、输入输出映射以及时变推广所需条件,仍需全文核对。 作者报告,在摘要所述关联回忆与形式语言计数实验中,非对角化转移矩阵改善关联回忆,却损害需要独立状态跟踪的计数任务;作者还报告 LayerNorm 可抑制暂态数值膨胀,同时保留记忆延长效应。摘要未提供数据集、模型规模、评估指标、数值结果或对照配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应点是长时依赖保留,而不是直接提升解码性能。该迁移假设依赖任务确实需要较长上下文;Jordan 结构分析与转移算子约束或可复用,但输入编码、通道融合和监督目标需针对 EEG 改造。低信噪比可能使延长的记忆同时保留伪迹,跨被试及通道差异可能改变动力学,小数据也可能使结构收益难以稳定估计。一个可证伪的小实验是:在固定 EEG 划分、训练预算与模型容量下,对比谱半径匹配的可对角化和非对角化线性 SSM,检验不同上下文长度下的任务表现与数值稳定性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其 Jordan 块结构与输入输出记忆界的适用条件,以及记忆延长和独立状态跟踪之间的任务权衡;摘要提出了可检验的 SSM 机制,但其 EEG/BCI 价值尚未验证。

来源:OpenReview · State space models · openreview.net