跳到正文
OpenReview · State space models· Yifang Chen; Xiaoyu Li; Yingyu Liang; Zhenmei Shi; Zhao Song·· 2024-01-01精选AI 评分80

从电路复杂度视角分析状态空间模型与 Mamba 的计算极限

The Computational Limits of State-Space Models and Mamba via the Lens of Circuit Complexity

AI 导读

基于摘要分析。本文研究 Mamba 与状态空间模型(SSMs)的理论计算能力,使用电路复杂度框架分析其状态机制是否带来超越 Transformer 的表达能力。核心贡献是给出特定精度与层深条件下的电路模拟与复杂度上界,而非提出新的训练算法或报告应用任务性能。 作者报告,在 poly(n) 精度、常数层深的条件下,SSMs 与 Mamba 属于 DLOGTIME-uniform TC^0 复杂度类,并为 Selective SSM 与 Mamba 可被该类电路模拟提供严格证明。作者据此认为,它们与 Transformer 具有相同的理论计算能力;解读时应注意,共同属于一个复杂度类首先给出的是计算能力上界,不能仅据摘要将其扩展为各架构在所有任务上的能力完全等价。 在 TC^0 ≠ NC^1 的假设下,作者报告这些受约束模型不能解决所讨论的算术公式问题、布尔公式求值问题与置换复合问题。这是依赖复杂度类分离假设及模型资源约束的结论,不应改写为 Mamba 在任意深度、精度或输入规模下均无法处理相关任务。 阅读全文时需核对精度定义、输入编码、层深约束、电路模拟细节,以及各问题的不可能性结论如何建立。证明细节尚未验证,摘要未提供可供比较的实证指标;实验协议、消融及统计信息尚未验证。 对 BCI/EEG 研究,该文目前的价值在于约束关于 Mamba 理论表达能力的论述,而非证明其适合或不适合神经信号建模。材料未提供 EEG 数据、任务或具体机制对应关系,不据此生成迁移实验建议;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其在精度与层深约束下对 Mamba、Selective SSM 的电路复杂度上界证明,以厘清状态机制是否意味着更强的理论表达能力,但该上界不能直接判定实际任务性能或 EEG 建模效果。

来源:OpenReview · State space models · openreview.net