语言模型是否追踪状态，以及如何追踪？

基于摘要分析。本文研究 Transformer 语言模型如何追踪随事件序列变化的隐含状态，以置换复合为受控任务：给定一组对象及连续交换操作，计算最终排列。核心贡献是识别两种状态追踪机制，并研究训练任务如何影响机制形成及其泛化表现。 作者将置换复合作为一般状态追踪的简化研究对象，指出有限自动机模拟、布尔表达式求值等任务可归约到这一问题。作者报告，针对该任务训练或微调的语言模型会学习两类机制：第一类接近已有理论工作中的 associative scan 构造；第二类先利用易计算的 permutation parity（置换奇偶性）部分缩小输出候选空间，再通过 associative scan 细化结果。摘要未提供具体模型结构、内部机制识别方法或训练损失，尚不能判断这些机制在不同配置中的稳定性。 作者报告，学习第一类机制的模型往往泛化更好、收敛更快，并可通过鼓励或抑制启发式策略的中间训练任务，将模型引向不同机制。这些结论限于摘要所述的置换复合设置；模型规模、序列长度、数据划分、对照基线、定量指标、消融及统计信息尚未验证。摘要提供了代码与数据地址，但其运行条件和与论文实验的一致性尚未核对。 平台推测（待验证）：若 EEG/BCI 任务需要从事件序列累积离散状态，本研究可作为分析模型是否真正执行状态更新、还是依赖启发式捷径的机制参照，而非已验证的 EEG 解码方法。假设可复用置换任务及机制分析思路，但需将确定性交换操作改为带噪声的事件观测；低信噪比、事件识别误差、跨被试与通道差异、小数据可能破坏其代数结构。一个小规模可证伪实验是在已知状态更新规则的合成事件序列中逐步加入观测噪声，对照是否使用中间任务训练，检验机制特征及序列长度泛化是否仍保持。已有 EEG 相关工作尚未检索确认。