跳到正文
OpenReview · State space models·· 2024-12-16精选AI 评分75

探索语言模型中的心理状态表征

Exploring Mental State Representations in Language Models

AI 导读

基于摘要分析。本文研究语言模型(LMs)如何在内部表征自身及他人的信念,重点不是仅评估 Theory of Mind(心智理论)任务的生成表现,而是考察这些表征对模型设计、训练选择和提示变化的稳健性。研究结合表征探测与激活干预,尝试联系内部信念表征和任务推理表现。 方法上,作者在不同语言模型与提示设计下开展探测实验,并补充此前针对 Theory of Mind 任务的激活编辑研究。作者报告,在所考察的模型与任务范围内,他人信念内部表征的质量随模型规模增大而提高,且微调带来的改善更为关键。这里的“表征质量”依赖具体探测评估,摘要未给出其指标、探测器设计或定量效应,不能等同于模型具有一般性的心智理解能力。 作者报告,模型表征对提示变体敏感,即使某些变化按研究预期应当有利,也可能影响探测表现。作者还报告,无须训练探测器,通过引导模型激活即可改善相关任务的推理表现;但摘要未说明激活方向的构造、干预位置及所需监督,因此不能将其解读为无监督方法。 模型名称与规模、任务及数据集、微调方式、数据划分、基线、实验协议、消融及统计信息尚未验证。本文的主要对象是语言模型的心理状态表征,并非人类神经信号或 BCI;材料未提供与 EEG 解码的具体机制对应,不据此推导 BCI 有效性或迁移实验建议。

阅读价值

值得阅读之处在于将 Theory of Mind 的内部表征探测、提示变体敏感性与激活干预结合考察,可用于审视探测结果是否稳健及其与推理表现的关系,但具体实验协议与效应大小尚未验证。

来源:OpenReview · State space models · openreview.net