跳到正文
OpenReview · State space models·· 28 天前精选AI 评分77

攻击尚未发生:LLM agent 中的可信状态洗白

The Attack Didn’t Happen—Yet: Trusted-State Laundering in LLM Agents

AI 导读

基于摘要分析。本文研究模块化 LLM agent 中的间接提示注入(IPI):攻击不仅可能改变当前动作,还可能污染生成的任务状态,使恶意内容在后续组件读取时重新进入决策上下文。研究提出诊断探针 StateLure,隔离从观测到状态的写入路径,并沿暴露、重新进入、权限使用与动作后果追踪风险。 作者报告,在十二个开放权重模型上,planner–executor–verifier 架构的受保护状态暴露指标 C=0.682,其中动作执行后由 verifier 写入的暴露指标 P=0.658,而同一步目标命中攻击成功率 ASR 为 0.165;对应 planner–executor 架构的 C=0.300。这些指标分别刻画状态暴露与即时动作后果,不应相互替代。作者还报告,五模型配对审计表明,常规 IPI 也能到达同一状态接口。 在选取的 20 个后续执行案例中,两种读取约定均使含攻击目标的状态进入下一轮 planner。保留原始用户目标作为任务陈述时,错误目标动作出现于 0/20 个案例;以传递摘要替换任务陈述时,出现于 11/20 个案例。该对照支持作者关于读取端任务上下文放置与后续错误动作相关的判断,但样本经过选择,不能将其直接视为一般场景下的攻击成功率。 作者据此将状态交接定位为生成状态需要授权的执行节点,并以固定目标的 TrustState Runtime 展示这一执行控制点。摘要未提供该运行时的具体授权规则或防御效果;实验协议、案例选择方式、消融及统计信息尚未验证。本文主要对象是 LLM agent 安全,未提供 EEG 或 BCI 实验,也未建立神经信号算法迁移的具体机制路径。

阅读价值

该研究将即时攻击成功与生成状态污染分开测量,并通过后续执行对照展示任务上下文放置与错误动作的关联,值得用于审视模块化 LLM agent 的状态交接安全,但不能据此推断 BCI 有效性。

来源:OpenReview · State space models · openreview.net