用语言模型追踪世界状态：以国际象棋进行基于状态的评估

基于摘要分析。本文研究 LLMs 能否在结构化环境中持续追踪世界状态，提出以国际象棋为基准、与模型内部结构无关的状态评估框架。其核心贡献是依据预测状态与真实状态所允许的后续合法着法分布，衡量两者的语义保真度，而不只比较状态描述的字符串是否一致。 机制上，作者将状态可供性（state affordances）作为评估依据：棋局状态的意义体现于规则允许的后续行动，因此可通过合法着法分布检验状态预测是否保留环境语义。该框架不需要访问模型内部激活，与依赖内部表征的探测方法形成区别；作者认为，这也使其较常规字符串指标更贴合国际象棋的规则结构与策略语境。摘要未提供分布的构造方式、语义保真度的具体计算公式，以及模型如何生成或输出预测状态。 作者报告，所提指标能够捕捉状态追踪缺陷，并揭示 LLMs 在长序列中维持连贯内部模型的局限；摘要未给出模型名单、棋局来源、序列长度、数据划分、对照基线或定量结果，因此尚不能判断缺陷的幅度及适用范围。作者还提出框架可推广至其他符号环境，但具体覆盖范围与验证证据尚未明确。实验协议、消融及统计信息尚未验证。 本文的主要对象是 LLMs 的符号状态追踪与评估，并非神经信号建模或 BCI 解码。当前材料未提供与 EEG/BCI 任务的具体机制对应，不据此推断其 BCI 有效性；已有 EEG 相关工作尚未检索确认。