可求解 Transformer 模型中思维链状态追踪的学习动力学

基于摘要分析。本文研究思维链状态追踪任务的训练动力学：将多步计算表示为可逐步检查的状态更新，并在一个可求解的简化单块 Transformer 中分析其学习过程。核心贡献是利用统计物理的平均场描述，把注意力检索与逻辑学习压缩为少量序参量，解释训练过程中的阶段性变化。 原始任务以置换复合生成状态序列，模型通过监督式下一 token 预测进行训练。作者推导了三个序参量的动力学方程，分别刻画注意力检索，以及面向目标与非目标的逻辑重叠。作者报告，这些方程与模拟中的序参量演化相符，并能预测最终 rollout 准确率的突变；该结果对应上述简化模型与合成状态序列任务，不能直接外推到一般语言模型。 机制上，作者报告了分阶段学习：MLP 逻辑先学到一种混合启发式，随后注意力才锁定相关 token。这为区分“局部逻辑已开始学习”与“检索位置已正确建立”提供了理论分析视角。摘要未给出具体准确率、数据规模、模型完整定义或适用参数范围，实验协议、消融及统计信息尚未验证。 本文主要研究对象是合成离散状态追踪，而非神经信号解码。其分析依赖明确的置换结构、可监督的中间状态及简化模型设定；现有材料不足以建立其与低信噪比 EEG、跨被试差异或小样本 BCI 的具体机制对应，因此不据此提出迁移实验方案。已有 EEG 相关工作尚未检索确认。