跳到正文
OpenReview · State space models·· 26 天前精选AI 评分76

检索不等于理解:个性化 LLM 中的 Evidence-to-State 瓶颈

Retrieval Is Not Understanding: The Evidence-to-State Bottleneck in Personalized LLMs

AI 导读

基于摘要分析。本文研究长期个性化 LLM 在已获得相关历史证据后,能否正确推断用户状态,并将这一检索后环节定义为 Evidence-to-State 瓶颈。其主要贡献是通过直接提供相关证据、施加状态监督及替换中间状态,分别考察状态解释误差及其对个性化决策的影响。 研究使用 PersonaMem-v2,将基准定义的用户状态表示为类型、主体、内容和适用性四个部分。在 Oracle Evidence 设置下,模型直接获得任务相关历史证据,以排除检索失败的干扰。作者报告,基础 LLM 在此条件下的 Full-State Accuracy 仅为 19.81%;引入简单、受控的直接状态监督干预后,该指标升至 65.28%。这一结果针对基准定义的状态恢复任务,不等同于真实用户状态的全面识别能力。 为检验中间状态质量与下游决策的关系,作者在固定查询、Oracle Evidence、候选选项及下游决策模型的条件下,进行匹配状态替换。作者报告,以改进状态替换基础模型生成的状态后,个性化决策准确率从 47.10% 提高至 68.81%,弥合了基础状态条件与参考状态条件之间决策差距的 78.03%。作者还报告,不同状态错误类别关联的下游决策差距明显不同;摘要未提供各类别的具体结果。 该设计的价值在于区分“证据是否被找到”与“证据是否被正确解释”,但 Oracle Evidence 属于有利评估条件,不能直接代表端到端记忆系统的实际表现。模型身份、状态监督的实现与训练规模、数据划分、Full-State Accuracy 的判定细则、消融及统计信息尚未验证。本文主要研究对象是个性化 LLM 的用户状态推断,摘要未提供 EEG 或 BCI 验证,不能据此视为神经信号建模方法。

阅读价值

该研究通过 Oracle Evidence 与匹配状态替换,将检索后的用户状态解释误差与下游决策误差联系起来,值得用于审视个性化 LLM 中“检索成功即理解正确”的评估假设。

来源:OpenReview · State space models · openreview.net