跳到正文
OpenReview · State space models·· 28 天前精选AI 评分76

MobiGraph:通过轨迹融合状态图构建面向移动智能体的实用评估范式

MobiGraph: Towards a Practical Evaluation Paradigm for Mobile Agents via Trajectory-Fused State Graphs

AI 导读

基于摘要分析。本文研究通过 GUI 交互执行任务的移动智能体评估问题,提出 MobiGraph,以多轨迹融合的状态图支持第三方应用中的任务构建与动态交互,旨在缓解依赖系统级资源状态的基准与真实应用场景之间的不匹配。 作者指出,AndroidWorld 等基准连接系统级 Android 模拟器,并依据系统资源状态提供评估信号,而现实中的许多第三方应用并不开放用于判断任务成功的系统级 API。MobiGraph 的核心机制是利用基于多轨迹融合的图构建算法压缩状态空间。摘要未说明状态与边的定义、轨迹采集方式、状态合并判据,以及如何由图结构生成任务成功判定信号,这些是理解其评估可靠性与复现条件时需要核对的关键内容。 作者报告,MobiGraph 覆盖 20 个常用第三方应用,包含 240 项多样化现实任务,并提供更丰富的评估指标。作者报告,在与 AndroidWorld 的比较中,MobiGraph 的评估结果与人工评价更一致;但摘要未提供一致性指标、具体数值、参评智能体、人工评价流程或任务匹配方式,因此尚不能量化其改进幅度,也不能据此推断移动智能体本身的任务能力有所提升。 该工作的主要贡献定位是移动 GUI 智能体的评估框架,而非 EEG/BCI 方法。实验协议、消融及统计信息尚未验证;图构建成本、应用状态变化时的维护要求,以及对未覆盖应用和任务的适用范围,也需结合全文核对。现有材料未提供明确的 EEG/BCI 机制对应关系,不据此推导神经信号任务上的有效性。

阅读价值

值得关注其如何以多轨迹融合状态图支持第三方应用的任务评估,以及相较 AndroidWorld 更贴近人工判断的证据;具体一致性指标与验证协议尚未验证。

来源:OpenReview · State space models · openreview.net