语言模型心智状态表征的基准评估

基于摘要分析。该研究关注语言模型在 Theory of Mind（心智理论）任务中的内部心智状态表征，而非仅评估生成答案是否正确；通过比较不同模型类型、规模、微调方式和提示设计，考察信念表征的稳健性及探针中的记忆问题。 方法上，研究以 probing（探测）分析模型内部是否表征自身或他人的信念，并将模型设计、训练选择与提示变化纳入基准评估。其主要价值是把内部表征的可探测性与任务生成表现区分开来，同时考察探针记忆问题对表征解释的影响。摘要未提供探针结构、训练目标、样本划分及记忆问题的具体检验方式，这些内容尚未验证。 作者报告，在所评估的语言模型与心智理论任务中，他人信念内部表征的质量随模型规模增大而提高，微调的影响更为关键；作者还报告，即使提示变化按预期应当有益，内部表征的探测表现仍对这些变化敏感。摘要未提供具体指标、效应量或统计不确定性，不能据此判断各因素的影响幅度或跨任务稳定性。 此外，作者通过补充激活编辑实验，报告无需训练任何探针，也可通过引导模型激活改善心智理论推理表现。激活干预位置、引导信号来源、比较基线及推理评估协议尚未验证。 全文阅读时需核对任务与数据构成、探针训练和测试划分、不同模型及提示条件的可比性，以及激活编辑效果的泛化范围。本文研究对象是语言模型中的信念表征，并非 EEG 或 BCI 解码；现有摘要不足以建立具体的 BCI 方法迁移路径，不据此推断神经信号应用效果。