Transformers 也需要状态：免训练的时间残差连接

基于摘要分析。该研究针对 Transformer 自回归生成中的重复退化，提出 Training-Free Temporal Residual Connections（TF-TRC）：在推理时将前一步的深层隐藏表示加到当前 token embedding，使残差表示直接跨时间步传递，而不只通过键值缓存被间接访问。 机制上，注入表示被缩放至 embedding 范数的一小部分；作者称该方法无需训练或修改架构，推理额外开销可忽略。论文将其动机归结为并行逐位置 next-token 训练与连续多步生成之间的差异，但这一解释的证据范围仍需正文核对，不能据此断言标准 Transformer 完全不保留历史信息。 作者报告，评估覆盖四个模型家族的十一个预训练模型及多个代际；其中针对最初八个模型的配对 bootstrap 分析显示，四个模型取得显著改善：衡量退化的 filler runs 缩短约三分之一，而 burst frequency 不变。摘要未提供各模型对应数值、指标具体定义、生成设置及置信区间，尚不能据此判断效果的普适性。 作者报告的对照显示，同能量随机向量注入有害；Mamba 上注入有害，AWD-LSTM 上无明显作用，Transformer 及 Qwen3.5 的线性注意力层受益。xLSTM 构成边界反例：它本身具有状态，仍会在采样时退化，且注入使结果变差。加法有效而完全替换 embedding 导致崩溃；收益依赖采样，在贪心解码及低温条件下转为负向。这些结果提示，状态注入的作用与表示内容、模型机制及解码条件有关，不能简化为增加状态必然改善生成。 具体注入层位、缩放规则、采样协议、消融及统计细节尚未验证，复现需取得正文确认。原研究对象是预训练语言模型的文本生成，材料未提供 EEG/BCI 实验；其对神经信号建模的适用性尚未验证，已有 EEG 相关工作也尚未检索确认。