ReCast:面向 LLM 智能体系统故障归因的步骤表征学习
ReCast: Attribution-Oriented Step Representation Learning for LLM-Based Agent Systems
基于摘要分析。本文研究 LLM 智能体系统中的故障归因:早期步骤的错误可能经后续交互传播,目标是定位最早导致失败的步骤。作者提出 ReCast,将冻结 LLM 的隐藏状态转换为面向归因的步骤表征,并引入故障归因训练数据集 ReCast-2K。 机制上,作者先通过实证分析考察隐藏状态能否区分根因步骤与其他步骤,报告其可分性有限。ReCast 随后选择与归因相关的层,构建互补的 pattern 与 deviation 特征,再使用以对比目标和排序目标训练的编码器学习上下文化步骤表征。其关注点是让表征适配根因定位,而非直接将原始隐藏状态作为步骤表征;具体层选择准则、两类特征的定义、监督构造与损失形式尚未验证。 结果方面,作者报告 ReCast 在四个基准上取得最高 Hit@1;其中,在 Who&When Algorithm 和 Handcrafted 上,相对最强基线分别提升 5.65 和 9.19 个百分点。这些结果对应智能体故障归因任务,不能解读为一般推理能力或 EEG/BCI 性能提升。摘要未提供绝对分数、基线身份、数据划分及统计不确定性,实验协议、消融及统计信息尚未验证。 复现需核对 ReCast-2K 的样本构成与根因标注规则、训练与评估数据的关系、冻结 LLM 的配置,以及各基准的步骤定义和 Hit@1 计算方式。摘要提供了代码地址,但代码内容及可运行性尚未验证。该方法依赖 LLM 隐藏状态、交互步骤结构及归因训练数据;目前材料不足以建立向 EEG/BCI 迁移的明确机制路径,已有 EEG 相关工作尚未检索确认。
值得核对 ReCast 如何通过层选择、互补特征与对比及排序目标改善根因步骤的可分性,以及其 Hit@1 增益在不同任务和归因标注协议下是否稳定。
来源:arXiv · 表征与预训练 · arxiv.org