跳到正文
OpenReview · State space models· Yifang Chen; Xiaoyu Li; Yingyu Liang; Zhenmei Shi; Zhao Song·· 2025-01-01精选AI 评分80

从电路复杂性视角分析状态空间模型与 Mamba 的计算极限

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity

AI 导读

基于摘要分析。本文研究状态空间模型(SSMs)与 Mamba 的理论计算能力,利用电路复杂性框架,刻画多项式精度、常数层深条件下的计算上界,检验有状态设计是否使其比 Transformers 更具计算表达能力。 核心结论:作者报告,在 poly(n) 精度和常数层深的条件下,Selective SSM 与 Mamba 可由 DLOGTIME-uniform TC^0 电路模拟,因此属于该复杂性类。这里的精度与深度约束是结论的适用前提,不能直接外推到深度随输入规模增长或其他精度设置的模型。摘要未提供具体电路构造、精度定义及证明细节,尚需全文核对。 作者据此认为,Mamba 在这一理论框架下与 Transformers 具有相同的计算能力;并指出,若 TC^0 ≠ NC^1,则所分析的模型不能解决算术公式问题、布尔公式求值问题和置换复合问题。这是依赖复杂性类分离假设的条件性限制,不应改写为无条件的不可能性结论。摘要所述电路模拟主要提供复杂性上界,也不能据此推断两类模型在实际任务中的准确率、训练效率或长序列建模效果相同。 阅读时需重点核对模型定义、输入规模 n 的含义、数值精度与运算假设,以及 Transformers 对照结论的适用范围。实验协议、消融及统计信息尚未验证。本文主要贡献是理论分析,而非 EEG/BCI 方法或验证结果;已有 EEG 相关工作尚未检索确认,不据此提出跨领域性能结论或复现实验方案。

阅读价值

该研究以明确的精度和深度条件刻画 Mamba 与 SSMs 的计算复杂性上界,值得用于核对“具有状态即可获得更强计算表达能力”的论断,但不能据此判断其在 EEG/BCI 任务中的性能。

来源:OpenReview · State space models · openreview.net