StateLoop：用于循环 Transformer 的持久状态

基于摘要分析。本文研究语言建模中循环 Transformer 的跨迭代信息保留问题，提出 StateLoop：为每个 token 增加一个持久状态，在重复使用共享骨干时保存可能对后续迭代有用的信息。其贡献是为参数高效的循环计算引入额外记忆通路，而非直接研究 EEG 或 BCI。 普通循环 Transformer 将骨干输出直接作为下一轮输入，跨轮信息保留依赖单一隐藏状态。StateLoop 在每轮通过可学习门控控制旧状态的保留量及骨干输出信息的写入量，再将更新后的状态投影并加到骨干输出上，用于后续迭代和最终预测。摘要未提供门控公式、状态维度、参数开销、训练损失及推理成本，这些细节尚未验证。 作者报告，在语言建模评估中，StateLoop 相比 Vanilla Looped 降低了 Pile 困惑度，并提高了八项零样本任务的平均 Accuracy；具体数值、任务名称、数据划分及模型规模尚未验证。作者还报告，相对 Vanilla Looped 的困惑度优势随训练循环深度增加而扩大，并认为这一现象与持久状态在更深循环计算中更有用的解释一致；该现象本身不能确立因果机制。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型也通过共享骨干重复处理 token，额外持久状态可能缓解跨计算轮次的信息丢失。这里的状态跨模型迭代保留，不应直接等同于跨采样时间的生理记忆。可复用部分是门控更新与状态回注，需改造部分包括 EEG token 表示、通道组织及任务输出；低信噪比可能使状态累积噪声，跨被试差异与小数据也可能使门控过拟合。一个可检验的小实验是在固定 EEG 数据划分与训练预算下，对比共享骨干循环模型及加入持久状态的版本，并控制参数开销、改变循环深度，检验增益是否稳定随深度变化。相关 EEG 工作尚未检索确认，语言任务结果不构成 BCI 有效性的证据。