跳到正文
arXiv · 多模态与生成机制· Colton Crosby; Hao Wang; Mac Schwager; Somil Bansal·· 1 天前精选AI 评分76

重回正轨:通过世界模型规划实现部署时策略改进

Back on Track: Deployment-time Policy Improvement via World Model Planning

AI 导读

基于摘要分析。本文研究视觉运动策略在机器人部署中无法自行预测或恢复的执行失败,提出离线训练的监测与干预框架:不依赖重新训练或修改原策略,而是在任务进展停滞时通过世界模型规划纠正动作,再将控制权交还原策略。 方法从少量带标注的在策略轨迹中学习以策略为条件的 liveness value,用于衡量原策略向任务完成推进的程度;同时利用这些轨迹与 play data 训练紧凑的潜在世界模型。部署时,价值函数持续监测执行进展;检测到进展受阻后,短时域规划器在世界模型中搜索纠正动作,并以同一价值函数作为规划目标。其关键机制是将进展评估同时用于干预触发与动作搜索,对原策略仅要求黑盒查询访问。 作者在 LIBERO-Goal 任务套件及 Franka Panda 机械臂上评估该框架,以视觉—语言—动作模型 π₀.₅ 和 diffusion policy 为原策略,报告任务成功率显著提升并支持实时控制。摘要未提供具体成功率、对照配置、标注规模、规划计算开销或统计检验,实验协议、消融及统计信息尚未验证;liveness 标注定义、干预阈值、世界模型误差及控制权交接方式也需查阅全文。 平台推测(待验证):该机制可能启发 BCI 驱动机器人中的停滞检测与纠错辅助,但原研究对象是机器人视觉运动控制,并未提供 EEG 解码或 BCI 实验。迁移假设依赖可观测的任务状态、动作轨迹与进展监督,可复用监测—规划—交还控制的流程,但需改造用户意图约束和干预规则。EEG 低信噪比、跨被试差异及小数据可能造成误触发或违背用户意图。可先在固定任务仿真中注入可控的解码错误,对比启用与禁用干预时的任务成功率、误干预率及用户指令一致性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其仅通过黑盒查询接入原策略、以同一进展价值连接部署监测与纠错规划的机制;作者报告了机器人任务成功率改善,但改善幅度、实时性条件及 BCI 适用性尚未验证。

来源:arXiv · 多模态与生成机制 · arxiv.org