可解 Transformer 模型中思维链状态追踪的学习动力学

基于摘要分析。本文研究 chain-of-thought 状态追踪如何在训练中形成：将多步计算表示为逐步状态更新，在由置换复合生成的状态序列上，以监督式下一 token 预测训练简化的单块 Transformer，并建立注意力检索与 MLP 逻辑模块协同学习的可解描述。 模型将固定滞后位置的 token 检索与专门的 MLP 逻辑模块分开，后者把检索到的置换作用于当前状态。作者采用统计物理中的平均场描述，推导三个序参量的动力学，分别衡量注意力对正确 token 的检索，以及逻辑模块的目标与非目标对齐。作者报告，这些解在序参量层面与模拟定量吻合；结合 logit 分布的高斯近似，可定性预测最终 rollout Accuracy 的突变，而非给出该指标的精确定量预测。 作者报告，学习呈阶段性：逻辑模块先形成混合启发式策略，随后注意力锁定相关 token，进而使 MLP 实现有效对齐。相同机制也出现在标准单块 Transformer 中；将任一子系统冻结在初始化状态时，则未出现该机制。这为区分检索与逻辑模块的独立作用及相互促进提供了受控研究框架。 这些结论的直接研究对象是合成置换序列上的状态追踪，不能等同于一般语言推理能力或神经信号解码效果。摘要未提供具体训练规模、模拟参数、Accuracy 数值或标准 Transformer 的完整实验设置；实验协议、消融及统计信息尚未验证。其对多层模型、自然语言任务及不同状态结构的适用范围仍需核对全文，现有材料不足以提出具体 EEG/BCI 迁移方案。