跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分76

ReCast:面向 LLM 智能体系统的归因导向步骤表征学习

ReCast: Attribution-Oriented Step Representation Learning for LLM-Based Agent Systems

AI 导读

基于摘要分析。本文研究 LLM 智能体系统的失败归因:当早期步骤的错误沿后续交互传播时,识别最早导致失败的责任步骤。作者提出 ReCast,将冻结 LLM 的隐藏状态转换为面向归因的步骤表征,并引入失败归因训练数据集 ReCast-2K。 作者首先开展经验研究,报告直接以隐藏状态作为步骤表征时,根因步骤与其他步骤的可分性有限。ReCast 据此先选择与归因相关的层,再构造互补的模式特征与偏差特征,最后通过采用对比学习和排序目标训练的编码器,学习包含上下文信息的步骤表征。摘要未说明层选择准则、两类特征的具体计算方式、上下文组织方式及损失定义,这些机制细节尚未验证。 作者报告,ReCast 在四个基准上取得最高的 Hit@1;其中,在 Who&When Algorithm 和 Handcrafted 上,相比最强基线分别提高 5.65 和 9.19 个百分点。该结果针对失败归因任务,不等同于智能体任务成功率提升。摘要未给出基线名称、绝对分数、数据划分及统计不确定性,实验协议、消融及统计信息尚未验证。 摘要提供了代码地址,但代码内容、运行条件及 ReCast-2K 的构成与标注协议尚未核验。研究对象是 LLM 智能体交互轨迹,而非神经信号;材料未建立其步骤级失败归因机制与 EEG/BCI 任务的具体对应关系,因此不据此推断跨领域效果。

阅读价值

值得关注的是其将冻结 LLM 的隐藏状态转化为面向失败归因的步骤表征,并报告了相对最强基线的 Hit@1 提升;具体贡献仍需结合层选择、特征构造及训练目标的消融核对,尚无 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net