跳到正文
OpenReview · Representation learning· Mehmet Özdinçer; Samuel Simko; Bernhard Schölkopf; Zhijing Jin·· 2026-06-03精选AI 评分78

让智能体保持任务轨道:将上下文诱发的失败用作学习信号

Keeping Agents on Track: Using Context-Induced Failures as a Learning Signal

AI 导读

基于摘要分析。本文研究 LLM 智能体在处理消息、文档和工具返回等不完全受用户控制的上下文时,如何避免被引向未经授权的行动。作者提出 ALICE,将上下文诱发的任务偏离转化为监督信号,以改善 contextual task fidelity,即在干扰压力下维持授权工作流的能力。 核心机制是识别上下文诱发的偏离,将其与匹配的、符合任务要求的续写配对,再基于这些完成轨迹学习纠偏。作者在间接提示注入(IPI)场景中实例化该框架,利用可执行的安全性与任务效用判定条件,并通过轻量 LoRA 实现 completion-level representation redirection。其关注点不是补充智能体缺失的任务能力,而是在保留已有能力的同时减少上下文造成的行为偏移。 作者报告,在覆盖四个领域的 IPI 评估中,该实例化方法消除了 97.8% 的成功上下文诱导偏离,同时在干扰压力下保留基座策略 95.0% 的任务完成能力,并维持标准推理成本。这里的两个百分比分别对应偏离消除与相对基座策略的任务能力保留,不能解释为总体安全率或绝对任务完成率。作者还报告,效果可迁移至另外五个 Llama 和 Qwen 骨干模型,以及训练中未出现的攻击风格。 摘要明确指出,格式变化和领域特定的任务效用回退限制了当前证据。具体领域、模型版本、轨迹构造与筛选方式、数据划分、对照基线、推理成本测量口径、消融及统计信息尚未验证。本文主要研究对象是 LLM 智能体的任务忠实性与提示注入防御;现有材料不构成 EEG 或 BCI 有效性的证据,不据此提出神经信号算法迁移结论。

阅读价值

值得关注其将上下文诱发的任务偏离与匹配的合法任务续写配对、学习轻量纠偏的机制,但摘要已指出格式变化与领域特定效用回退,泛化边界仍需结合全文核对。

来源:OpenReview · Representation learning · openreview.net