GraphACM：面向 LLM 智能体不确定性量化的图式动作一致性度量

GraphACM 研究如何利用 LLM 智能体在同一任务上的重复执行行为评估可靠性，核心贡献是按等价决策状态对齐动作，而非仅用单个任务级分数概括行为一致性。基于摘要分析，尚未取得论文全文。 方法将同一任务的多条执行轨迹中等价的状态合并为有向图，并以动作标注边，使动作比较发生在共享决策状态下。在此基础上，作者提出节点级与全局动作一致性度量：前者用于定位行为一致或分歧的位置，后者作为不确定性的代理信号，预测任务成功或失败。摘要未说明状态等价的具体判定规则、度量公式及每个任务所需的执行次数。 作者报告，在三个 LLM、ALFWorld、AppWorld 和 WebShop 的实验中，该度量与任务成功正相关；任务成功预测的平均 AUROC 为 0.811，对照中最强的行为一致性基线为 0.729，语言表述置信度为 0.769。这里评估的是成败预测的区分能力，并不表示智能体本身的任务成功率提高；摘要也未给出各模型、各环境的分项结果及平均方式。 阅读与复现时需重点核对状态合并是否保留影响决策的上下文、重复执行的采样设置、预测评估的数据划分，以及执行成本和统计不确定性。实验协议、消融及统计信息尚未验证。该研究的直接对象是 LLM 智能体，并未提供 EEG 或 BCI 验证；现有材料不足以建立具体迁移机制，不能将其结果视为 BCI 可靠性评估的有效证据。