DeltaFormer：解锁 Transformer 的状态空间

基于摘要分析。本文研究 Transformer 在状态追踪任务中的表达能力限制，从带核函数的状态空间视角重新审视 Transformer，并提出改进架构 DeltaFormer，目标是在保留语言建模能力的同时增强模型表达能力。 原论文的主要对象是语言模型架构及计算表达能力，而非 EEG 或 BCI。摘要指出，在对数精度等条件下，Transformer 可解决的问题受 TC^0 限制，并将 Python 代码求值、实体追踪、国际象棋等列为通常被认为超出该复杂度类的状态追踪问题。这里的限制依赖具体计算模型与精度假设，不能直接扩大为所有 Transformer 均无法完成这些任务。 机制与对照方面，作者将基于 Delta Rule 的近期状态空间方法作为背景：此类方法可突破上述表达能力限制，但固定大小状态空间可能制约任务表现。DeltaFormer 的切入点是以带核函数的状态空间重新解释并改进 Transformer；摘要未给出具体状态更新方程、核函数形式、状态容量如何随序列变化，以及训练与推理实现，因此不能据此确定其结构或计算成本。 作者报告，理论与实践结果支持 DeltaFormer 突破 Transformer 固有的 TC^0 表达能力限制，并在语言建模任务上不弱于标准 Transformer。摘要未提供数据集、模型规模、评价指标、数值结果或对照设置；理论结论的条件、实验协议、消融及统计信息尚未验证，“不弱于”也不能扩展为所有任务或算力预算下均更优。 平台推测（待验证）：增强状态追踪能力可能与长时程 EEG 序列中的动态状态建模有关，但摘要不足以建立具体迁移路径。现阶段不能将语言建模结论视为低信噪比、跨被试或小数据 EEG 场景的有效性证据；已有 EEG 相关工作尚未检索确认。复现前需取得全文，核对理论假设、架构定义及实验配置，代码与权重可用性尚未验证。