跳到正文
arXiv · 多模态与生成机制· Zixuan Wang; Jia-Ning Li; Yinzhou Tang; Yanzhao Yu; Biao Wu; Meng Fang; Xin Li; Yiwu Zhong·· 1 天前精选AI 评分78

破解移动操作难题:从失败诊断到智能体机器人系统

Cracking Mobile Manipulation: From Failure Diagnosis to Agentic Robot System

AI 导读

基于摘要分析。本文研究视觉–语言–动作(VLA)模型的局部操作能力为何难以直接转化为长时程移动操作能力,并提出由失败诊断驱动的智能体干预系统,在固定子任务 VLA 的基础上改进完整执行流程。主要研究对象是机器人移动操作,而非 EEG 解码或 BCI。 作者将执行失败归纳为三类主要环节:任务规划、导航与底盘定位、局部操作。对应干预包括基于示范的规划指导、自适应视觉记忆、考虑可达性的底盘调整,以及局部末端执行器调整。该设计的核心是针对当前瓶颈增加系统级支持,而不是统一扩大底层策略;各模块的具体实现、触发条件、信息输入及训练需求尚未验证。 作者报告,在其原子操作与组合移动操作实验中,预训练子任务 VLA 的成功率分别为 80% 和 19%,提示局部技能成功不等于长时程组合任务成功。在 RoboCasa365 上,逐步加入干预后任务成功率由 19% 提升至 47%;最终系统在留出的 episode seeds 上达到 49%,对应基线为 18%。作者另报告,在 BEHAVIOR-1K 上成功率由 14% 提升至 37%,真实机器人任务中的成功次数由 5/20 提升至 13/20。这些结果属于不同评估条件,不宜直接横向比较。 复现时需核对任务构成、episode seeds 的划分方式、各干预模块的独立贡献、失败类型的判定方法,以及真实机器人任务的重复试验与统计不确定性;相关实验协议、消融及统计信息尚未验证。摘要称代码将发布,不能据此确认代码已公开。材料未提供与 EEG/BCI 的具体机制对应,因此不将机器人任务中的收益解释为 BCI 有效性证据。

阅读价值

值得关注其在固定子任务 VLA 的条件下,通过失败诊断定位规划、导航与操作瓶颈并实施针对性干预的系统设计;具体干预贡献与泛化程度仍需核对全文。

来源:arXiv · 多模态与生成机制 · arxiv.org