跳到正文
OpenReview · State space models· Mehran Shakerinava; Behnoush Khavari; Siamak Ravanbakhsh; Sarath Chandar·· 2026-01-26精选AI 评分82

对角 SSMs 在状态追踪任务中的表达能力极限

The Expressive Limits of Diagonal SSMs for State-Tracking

AI 导读

基于摘要分析。本文研究输入依赖的复数对角状态空间模型(input-Dependent Complex-valued Diagonal,DCD SSMs)在序列状态追踪任务中的表达能力,核心贡献是以群的代数结构刻画模型层数所对应的表达边界,并区分理论可表达性与实际可学习性。 作者给出的理论结论是:在有限精度条件下,单层 DCD SSMs 无法表达任何非阿贝尔群的状态追踪。更一般地,作者表明,k 层 DCD SSMs 能表达一个群的状态追踪,当且仅当该群具有长度为 k、各因子均为阿贝尔群的次正规列,由此刻画其在可解群范围内的表达能力。这一结论针对特定 DCD SSMs 和群状态追踪任务,不能直接推广为所有 SSMs 或所有长序列任务的能力上限;精度条件、层间计算及“表达”的具体形式化定义仍需核对全文。 作者报告,在所考察的非阿贝尔群状态追踪实验中,多层模型往往仍无法学会任务,提示满足表达条件并不保证训练能够找到对应解。摘要未提供具体群、序列长度、数据划分、优化设置、对照基线或量化指标,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若某类 EEG 序列任务确实依赖顺序敏感、不可交换的潜在状态更新,这一理论框架可能帮助检查对角状态更新的结构限制,但 EEG 分类并不天然等同于群状态追踪。可复用的是代数任务探针与表达性分析思路;需改造的是 EEG 观测到潜在状态及更新操作的映射。低信噪比、跨被试差异、通道变化和小数据都可能使映射与训练困难成为主导因素。一个可检验的小实验是在固定 DCD SSMs 层数和训练预算下,对比阿贝尔与非阿贝尔状态追踪探针,并加入受控观测噪声,检查理论边界与学习失败能否区分;该实验不等于 EEG 有效性验证。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是作者给出了 DCD SSMs 在群状态追踪任务上的层数—表达能力刻画,并报告理论可表达与实际可学习之间的差距,可用于审视此类序列模型的结构边界,但尚不构成 EEG/BCI 有效性证据。

来源:OpenReview · State space models · openreview.net