MobiAgent:面向长时程移动操作的双循环递归策略自我改进
MobiAgent: Dual-Loop Recursive Policy Self-Improvement for Long-Horizon Mobile Manipulation
基于摘要分析。MobiAgent 针对长时程移动操作中的执行误差累积,以及移动控制与机械臂控制之间的能力干扰,提出连接部署执行与策略持续改进的双循环框架。其核心贡献是以可组合原子技能支撑动态规划和错误恢复,并将部署轨迹自动转化为技能库的更新数据。 内循环将高层推理与低层控制解耦:利用 Vision-Language models 进行滚动时域规划与视觉反思,动态组合原子技能;技能由共享统一 VLM 骨干的专门化 flow-matching 专家执行。作者将这一设计定位为提高技能复用、缓解能力干扰的机制。外循环则自动分段并验证部署轨迹,通过聚类发现原子技能,持续微调技能库;摘要称该过程无需人工标注。具体分段与验证标准、聚类方式、训练损失和更新调度尚未验证。 作者报告,在 RoboCasa、BEHAVIOR-1K 及真实世界任务上进行了评估:在 BEHAVIOR-1K 上相较 π₀.₅-TA 提高 22.5 个百分点,并能从执行失败中恢复;通过自主数据回收,RoboCasa 上的成功率从 7.50% 提高至 27.50%,Astribot S1 上从 32.5% 提高至 57.5%。摘要未明确这些数值对应的任务划分、试验次数、数据预算及对照条件,不能据此跨平台直接比较。实验协议、消融及统计信息尚未验证,复现还需核对技能定义、轨迹验证器、更新前后评估一致性与代码可用性。 平台推测(待验证):可迁移至 BCI 的主要是假设性的分层执行与反馈更新机制,而非机器人控制策略本身。原方法依赖视觉、语言、动作及部署轨迹;若用于 BCI 共享控制,可保留高层技能组合与错误恢复模块,但需将 EEG 意图解码接入技能选择,并改造反馈验证和在线更新。低信噪比、跨被试差异及小数据可能使错误解码被回收为训练监督,造成误差累积。一个可检验的小实验是在固定 EEG 解码器与技能库下,对照静态技能映射和带反馈重规划的共享控制,比较任务成功率及错误恢复能力。相关 EEG 工作尚未检索确认。
值得阅读其原子技能组合、视觉反思与部署轨迹自动回收如何形成双循环改进机制,但性能增益的任务划分、对照条件及持续学习稳定性尚需全文核对。
来源:arXiv · 多模态与生成机制 · arxiv.org