跳到正文
OpenReview · State space models·· 2026-08-23精选AI 评分77

计算的错觉:状态跟踪失败的电路复杂度解释

THE ILLUSION OF COMPUTATION: A CIRCUIT-COMPLEXITY ACCOUNT OF STATE-TRACKING FAILURE

AI 导读

基于摘要分析。本文研究 LLM 在算法任务中的状态跟踪失败,以电路复杂度上界提出一种解释,并构建独立操控任务固有深度 Dtask 与实际 scratchpad 深度 Drealized 的基准,检验计算深度预算是否约束任务成功。 理论出发点是有界精度 transformer 属于 TC0,作者认为 parallel-scan SSM 也受到基本相同的计算上限约束。据此提出可证伪预测:若 Drealized 未达到 Dtask,任务将无法完成。摘要明确将这一解释视为多种可能机制之一,并不主张从理论上界自动推出实践中的失败。 实验覆盖 modular、register、permutation 三种深度参数化任务形式、四种提示条件及 K∈{2,…,128},测试 Qwen2.5-0.5B/3B/14B 与 SSM 对照 Mamba-2.8B,并结合线性探针。作者报告,所有基于 CoT 的条件在中等 K 时准确率均降至接近底线,但失败模式随任务和模型规模而异:modular 在 3B/14B 上即使完全满足格式要求仍出现算术错误,而 0.5B 的失败主要由格式遵循崩溃驱动;register 呈现辅助噪声模型预测的逐步平滑衰减;permutation 在 14B 上的对照最清晰,工具增强条件在 K≤16 时准确率达到 1.00,而所有 CoT 条件仍处于底线。作者将后者解释为状态传播失败,而非任务难度校准不当。 作者报告,行为表现崩溃后,隐藏状态仍保留可由线性探针解码的状态信息,permutation 中持续最久;Mamba-2.8B 复现了随任务形式变化的失败差异。作者据此支持该限制并非注意力架构独有,但这仍不能单凭摘要确立统一的因果机制。具体任务定义、Drealized 的测量方式、数据划分、工具增强协议、探针训练与评估、消融及统计信息尚未验证。本文主要对象是语言模型的算法状态跟踪,不构成 EEG/BCI 有效性证据;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其任务深度与实际 scratchpad 深度的独立操控,以及线性探针对“状态可解码但行为失败”的分析;摘要提供了可证伪的机制假说,但尚不足以确立电路复杂度上界与实际模型失败之间的因果联系。

来源:OpenReview · State space models · openreview.net