跳到正文
OpenReview · State space models· Yifang Chen; Xiaoyu Li; Yingyu Liang; Zhenmei Shi; Zhao Song·· 2025-02-11精选AI 评分80

从电路复杂度视角分析状态空间模型与 Mamba 的计算极限

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity

AI 导读

基于摘要分析。本文研究 Mamba 与状态空间模型(SSMs)的理论计算能力,核心贡献是用电路复杂度框架刻画其计算上界,而非提出新的序列建模方法或 EEG/BCI 算法。 作者报告,在数值精度为 poly(n)、网络层数为常数的条件下,Selective SSM 与 Mamba 可由 DLOGTIME-uniform TC^0 电路模拟,因此属于该复杂度类。这里的层数与精度约束是结论的适用前提,不能将其扩展为任意深度、任意精度架构的普遍限制。 作者据此认为,Mamba 的有状态设计并不使其在该理论框架下具有超越 Transformer 的计算表达能力。若 TC^0 ≠ NC^1,则所分析的模型不能解决摘要所列的 arithmetic formula problems、boolean formula value problems 和 permutation composition problems。这是依赖复杂度类分离假设的条件性限制,不应改写为无条件的不可能性证明;同处一个复杂度类也不意味着不同架构在有限数据、训练难度、推理效率或具体任务表现上等价。 阅读全文时需核对模型形式化定义、精度计算方式、常数深度的具体约束,以及 Transformer 比较结论的适用范围。证明细节及实验协议、消融与统计信息尚未验证。摘要未提供 EEG/BCI 数据或相关评估,不能据此推断 Mamba 在神经信号任务中的优劣;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其关于 Mamba 与 Selective SSM 电路复杂度上界的证明,以厘清有状态设计与计算表达能力的区别,但该理论结论不直接判定实际任务性能或 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net