采用思维链的 Transformer 内部的有限状态自动机：状态跟踪的机制研究

基于摘要分析。本文研究 Transformer 配合思维链（CoT）进行状态跟踪时学到了什么算法，核心贡献是定位与状态跟踪相关的模型组件，并以神经元表征分析提供模型内部存在隐式有限状态自动机（FSA）的证据。研究对象是大语言模型的状态跟踪机制，而非 EEG 或 BCI 信号建模。 作者首先评估 Transformer+CoT 及其变体的状态跟踪能力，报告 CoT 有效。随后，作者识别负责跟踪世界状态的计算回路，即模型组件的一个子集，并指出较后层的 MLP 神经元发挥关键作用。研究提出 compression 和 distinction 两项指标，用于分析状态相关神经元集合；摘要未提供指标的具体定义、神经元筛选流程及干预验证细节。 作者报告，各状态对应神经元集合的准确率接近 100%，并据此支持隐式 FSA 的解释。该数值对应摘要所述的状态神经元分析，不能直接视为完整任务准确率或长度泛化成绩；其具体评估协议、数据划分和统计不确定性尚未验证。 作者还考察跳过中间步骤、引入数据噪声和长度泛化三种挑战设置，并报告所学算法具有鲁棒性。摘要未给出噪声形式与强度、训练及测试序列长度、对照基线或各设置下的量化结果，因此结论的适用边界尚待核对。来源提供了代码仓库，但实现与论文实验的一致性、复现条件、消融及统计信息尚未验证。 该工作提供的是通用序列模型的机制分析证据，尚不能据此推出 EEG/BCI 有效性；现有材料未建立与神经信号建模的具体对应关系，已有 EEG 相关工作亦尚未检索确认。