状态空间模型的表达能力：形式语言视角

基于摘要分析。该研究关注用于语言建模的线性状态空间模型（SSMs）在原则上能够表示哪些序列计算，并通过形式语言视角比较其与 transformers、传统 RNN 的表达能力。核心贡献是揭示这些架构并非具有简单的能力强弱关系，而是在不同任务上呈现重叠但不同的优势。 作者报告，在 star-free 状态追踪问题中，SSMs 能实现直接且精确的解，而 transformers 难以精确表示这些问题；SSMs 还能够在不模拟栈的情况下，以最优内存建模有界层级结构。这些结论针对特定形式语言问题，不能直接等同于自然语言任务上的性能优势。摘要还指出，当前 SSMs 的一项设计选择会限制表达能力，但未说明具体选择、定理条件或适用架构范围。 作者报告在 Mamba 上进行了经验验证。摘要未提供验证任务、数据划分、模型配置、对照基线或量化结果，因此目前无法判断理论结论在何种有限精度和训练条件下得到支持；证明前提、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：状态追踪与有界层级结构的理论分析，可作为审视 EEG 时序模型记忆能力的假设框架，但本文主要研究对象是语言建模与形式语言，而非神经信号解码。离散形式语言中的精确表示能力不能直接推出连续、低信噪比 EEG 数据中的学习能力或跨被试泛化效果。已有 EEG 相关工作尚未检索确认，现有材料不足以提出具体迁移实验方案。