跳到正文
OpenReview · State space models·· 28 天前精选AI 评分79

任务状态应在多大程度上影响 LLM Agent?

How Strongly Should Task State Influence an LLM Agent?

AI 导读

基于摘要分析。该研究面向长程任务中的 LLM Agent,考察任务状态以文本展示、逐轮指令或强制执行约束介入时,分别如何影响可靠性。核心贡献是控制任务规则、模型和配对任务回合,单独改变状态对 Agent 的约束强度,而非仅比较完整系统。 研究设置包括原始对话记录、精确检查清单、由任务说明编译且仅凭执行回执推进的状态机所生成的逐轮指令,以及拒绝违反状态动作的执行门控;摘要还比较了 Agent 自行编写、未经验证的状态台账。每个任务回合均通过与动态真实标准进行精确载荷匹配来评分。 作者报告,在三个模型、两种推理设置和两个领域的比较中,不使用逐轮推理时,准确展示状态仍不足以稳定保证可靠性;Agent 自写台账优于外部提供的准确清单;指令的收益取决于模型服从程度;强制门控无需模型服从,但受状态正确性及请求到步骤匹配器的准确性限制。作者报告,235B Agent 启用逐轮推理后,各条件差距缩小,但文本状态条件的问题未被消除。 外部基准中,作者报告,将同一门控机制按 τ²-bench 的航空政策编译后,235B Agent 的 pass¹ 从 0.39 提升至 0.54;对很少违反政策的 35B Agent 则无变化。在依赖线索识别而非任务状态判定的 PM-Bench 上,展示记录匹配或优于两种门控,且台账优于清单的关系发生逆转;强制采用匹配器判断还使 35B Agent 的表现低于原始对话记录条件。 这些结果支持作者提出的适用边界:当错误频繁且可由状态明确判定时,执行约束可能有效;门控判断出错时则可能损害表现。具体模型身份、任务构造与划分、匹配器实现、消融及统计信息尚未验证。本文主要研究对象是 LLM Agent 的任务控制,并未提供 EEG 或 BCI 有效性证据。

阅读价值

该研究通过固定任务规则、模型与配对回合,区分状态展示、指令引导和执行约束的作用,值得用于审视 Agent 可靠性究竟来自模型服从还是外部控制,并核对错误门控的代价。

来源:OpenReview · State space models · openreview.net