StateTrackBench：通过可执行轨迹定位语言模型丢失动态状态追踪的位置

基于摘要分析。该研究针对长期运行的语言模型代理无法可靠维护动态世界状态的问题，提出 StateTrackBench：用可执行轨迹重建每条消息后的正确状态，定位仅凭最终答案评分难以发现的错误。其主要研究对象是语言模型的离散状态追踪，而非 EEG 信号建模或 BCI 解码。 基准包含 6,055 条可执行轨迹，每条轨迹将消息与带类型的更新、确定性状态转移及查询读出配对。回放可生成逐消息的标准状态；再将同一组由模型解析出的更新交由不同状态接口执行，以区分消息理解错误与状态转移计算、序列化错误。数据结合模板渲染的平台记录与生成式任务族。 作者报告，在四个模型的评估中，三个模型在平台记录分层上接近性能上限，而生成式历史仍具挑战性。针对 GPT-4o 的诊断发现，最终答案正确时，中间状态仍可能已经损坏；辅助账本评估也揭示了状态转移错误。作者以 Parse–Then–Replay（PTR）作为先解析后执行的参考流程，利用回放时检查定位问题消息，并提供指出冲突的反馈以触发重新解析。在修复开发阶段留出的 GitHub 标签历史上，所配置的 GPT4o 路线经修复后 Accuracy 从 0.918 提升至 0.990；作者报告，匹配对照支持冲突特定反馈的贡献，不能将这一提升泛化至其他模型或任务。 复现需核对轨迹生成与划分方式、状态接口定义、冲突判定、修复触发条件、调用成本及匹配对照设置。摘要称代码与数据将在论文接收后公开，不能据此认定已接收或已公开。完整实验协议、消融及统计信息尚未验证。该方法依赖可执行的离散更新与确定性标准状态，不能直接等同于对噪声神经信号中潜在状态的追踪；现有材料不足以提出具体 EEG 迁移方案。