跳到正文
OpenReview · State space models· Andrei Vince·· 2026-08-05精选AI 评分79

ACID-Bench:状态变更工具智能体的测量契约

ACID-Bench: Measurement Contracts for State-Changing Tool Agents

AI 导读

基于摘要分析。本文研究调用外部 API、修改持久化记录的工具智能体应如何评估,提出 ACID-Bench 测量契约框架,将用户目标完成与事务故障处理、最终状态完整性分开衡量。研究对象是零售和航空场景中的状态变更智能体,而非 EEG/BCI 或状态空间模型。 核心机制是为每项契约绑定用户目标、可变状态前置条件、确定性事务故障、智能体可见的工具结果、最终状态判据、提示条件元数据及有效性规则。由于工具交互具有非独立同分布和路径依赖特征,后续状态可能受到故障是否实际暴露及恢复方式的影响。评估器采用确定性轨迹与状态判据,而非 LLM 评审。框架包含 52 项已纳入版本管理的零售与航空契约,覆盖部分提交、虚假成功后的重试、陈旧读取、崩溃重启及后果义务。 作者报告,在用于检验构念效度的任务导向对照中,52/52 个用户目标均完成,但 52/52 个最终状态均违反完整性要求。在 780 条经清单复核的模型运行记录中,Tau-style 任务成功判据会认可 431 条,其中 241 条未通过 ACID 契约。作者另报告有效性筛选流程为:780 条尝试记录、688 条有效记录、554 条故障暴露记录、234 条 strict-clean 记录。这些计数对应不同筛选阶段,不能混用分母,也不能直接作为提供商排名。 作者据此主张分别报告任务成功、故障暴露、分母变化、安全移交及状态完整性,并明确不声称部署认证、通用领域覆盖或提供商排行榜。各有效性类别与 strict-clean 的操作定义、模型配置、重复运行安排、实验协议、消融及统计信息尚未验证;复现时需核对契约、故障注入与轨迹/状态判据的具体实现。摘要未提供与 EEG/BCI 的具体方法对应关系,因此不据此提出迁移效果或复现实验建议。

阅读价值

值得阅读的具体原因是其以确定性轨迹与状态判据区分任务完成、故障暴露和最终状态完整性,并提供任务成功却违反完整性约束的对照证据;这不构成 EEG/BCI 有效性的证据。

来源:OpenReview · State space models · openreview.net