跳到正文
OpenReview · State space models· Matteo Bortoletto; Constantin Ruhdorfer; Lei Shi; Andreas Bulling·· 2024-06-25精选AI 评分74

语言模型中心理状态表征的基准评估

Benchmarking Mental State Representations in Language Models

AI 导读

基于摘要分析。该研究关注语言模型在 Theory of Mind(心智理论)任务中如何内部表征自身及他人的信念,而不仅是能否生成正确答案。作者通过覆盖不同模型类型、规模、微调方式和提示设计的基准评估,考察心理状态表征的稳健性及探针中的记忆问题,并补充激活编辑实验。 技术上,研究使用 probing(探测)评估模型内部的信念信息,并分析模型设计与训练选择如何影响探测表现。作者报告,在所评估的模型和任务条件下,他人信念的内部表征质量随模型规模增加而提高,微调的作用更为关键。作者还报告,表征对提示变化敏感,即使这些变化按预期应当有益,也可能影响探测表现。摘要未提供具体模型、任务数据、探针形式、划分协议或量化指标,因此不能据此比较不同设置的效应大小。 在干预层面,作者报告,通过引导模型激活,可以在无需训练任何探针的情况下改善心智理论任务的推理表现。这与表征探测提供互补证据,但激活引导的构造方式、推理阶段操作、对照条件及泛化范围尚未验证。探针记忆问题的评估方法、实验协议、消融及统计信息也尚未验证。 本文的主要研究对象是语言模型内部的心理状态表征,不是人类神经信号或 BCI 解码。摘要未建立与 EEG/BCI 的具体机制对应,因此不将其结果解释为脑信号心理状态解码的证据,也不据此提出迁移复现实验;已有 EEG 相关工作尚未检索确认。

阅读价值

该基准值得阅读之处在于同时考察模型规模、微调与提示变化对心理状态表征探测的影响,并以无需训练探针的激活引导补充分析表征与推理表现的关系。

来源:OpenReview · State space models · openreview.net