跳到正文
OpenReview · State space models·· 27 天前精选AI 评分72

Human Before the Loop:约束动作空间提升 AI 智能体的安全性、可靠性与能力

Human Before the Loop: Constraining the Action Space Improves Security, Reliability, and Capability in AI Agents

AI 导读

基于摘要分析。本文研究多用途 AI 智能体遭受 prompt injection 后泄露敏感数据的问题,提出 Human Before the Loop 框架:在设计阶段确定动作空间与数据访问权限,而非仅依赖模型拒绝恶意指令或运行时攻击检测。 核心机制是 semantic action abstraction:以 Hierarchical Extended Finite State Machine(HEFSM,层次扩展有限状态机)组织可执行动作,替代开放式工具调用。作者将安全性归因于运行时不存在通往敏感数据或破坏性动作的可执行路径。这属于动作与权限边界的结构化约束;其保障范围依赖设计期边界是否完整,以及状态机和执行组件是否正确实现,不能仅凭摘要推广为对任意攻击均安全。 作者报告,在其 prompt injection 评估中,该框架阻止了全部受测攻击,而工具调用基线在 8.5% 的攻击中未能阻止敏感数据外传;在摘要所述正常任务评估中,任务完成率由工具调用基线的 76.5% 提升至 81.4%。攻击数量、任务构成、数据访问条件及统计不确定性尚未验证。 作者另报告,一个 30B 参数模型使用该框架,在 341 轮内完成 Pokémon Red 教程阶段;同一模型使用工具调用执行框架,在 1,000 次模型调用内仍未超越初始阶段。作者还报告,该 30B 模型完成教程所需的模型调用次数比其蒸馏来源的大模型少 22%。摘要同时使用轮数与模型调用次数,二者对应关系、模型身份和比较配置尚未验证。 全文复核应重点检查 HEFSM 的构建成本、动作抽象是否限制开放式任务、敏感数据隔离的信任边界,以及基线工具接口和调用预算是否可比;实验协议、消融及统计信息尚未验证。本文主要对象是 LLM 智能体安全,而非 EEG 解码或 BCI 算法,当前材料不支持将其结果解释为已验证的 BCI 能力提升。

阅读价值

值得阅读其通过设计期限定动作与数据访问来防御 prompt injection 的机制,但安全性与任务能力能否同时提升,仍需核对威胁模型、动作空间覆盖及对照配置。

来源:OpenReview · State space models · openreview.net