具有 Chain-of-Thought 的 Transformer 内部的有限状态自动机：状态追踪的机制研究

基于摘要分析。本文研究 Transformer 结合 Chain-of-Thought（CoT）时能够学到怎样的状态追踪算法，贡献是从任务表现推进到内部机制分析：定位负责世界状态追踪的模型组件，并考察这些组件是否形成隐式有限状态自动机（FSA）。研究对象是语言模型的状态追踪机制，并非 EEG 解码或 BCI 系统。 作者首先评估 Transformer+CoT 及其变体的状态追踪能力，报告 CoT 能改善表现；随后识别承担状态追踪功能的 circuit，即模型组件子集，发现晚层 MLP 神经元发挥关键作用。作者提出 compression 与 distinction 两项指标，并报告在其状态追踪评估中，各状态对应的神经元集合达到接近 100% 的 Accuracy，将其作为模型内部存在隐式 FSA 的证据。摘要未说明该 Accuracy 的具体判定对象、数据划分及两项指标的计算方式，不能将其直接理解为所有任务或泛化条件下的整体准确率。 作者还考察跳过中间步骤、引入数据噪声及长度泛化三种设置，并据此认为 Transformer+CoT 学到了具有稳健性的 FSA 算法。摘要未给出各设置的量化结果、噪声类型、长度范围或对照细节；实验协议、消融及统计信息尚未验证。复现需从全文核对任务构造、CoT 监督方式、状态与神经元集合的对应方法，以及 circuit 定位是否包含因果干预证据。 该研究可作为理解序列模型内部状态表征的方法参考，但材料尚不足以建立其与 EEG 低信噪比、跨被试差异或小数据学习之间的具体机制对应，不据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。