跳到正文
arXiv · 多模态与生成机制· Shangqing Zhou; Zhennan Jiang; Ning Ma; Xin Fu; Yupeng Zheng; Shuai Tian; Huangrui Li; Jiahao Liu; Chao Yu; Zhongpu Xia; Haoran Li; Dongbin Zhao·· 1 天前精选AI 评分76

WoVR+:以世界模型作为可靠模拟器,通过 RL 优化多样化 VLA 策略

WoVR+: World Model as Reliable Simulator for Versatile VLA Policy Optimization with RL

AI 导读

基于摘要分析。本文研究机器人 Vision-Language-Action(VLA)策略的强化学习优化:动作条件世界模型可减少昂贵的真实机器人交互,但生成幻觉及长序列误差累积可能误导策略学习。WoVR+ 在 WoVR 的幻觉感知世界模型强化学习框架上,重新设计学习环境与想象交互协议,面向更丰富的 VLA 接口和长时程任务。 方法包含三个要点:其一,采用与 VLA 接口对齐的世界模型,提供多视角预测与本体感觉状态更新,并缓解幻觉;其二,引入 chunk-wise noise,在保留基于流的策略探索能力的同时,限制损害预测质量的动作抖动;其三,采用阶段局部想象训练,结合阶段入口重置、阶段专属奖励、局部时域和可控采样,缩短生成前缀并平衡不同阶段的训练。摘要未提供具体模型结构、损失形式或训练规模。 作者报告,相较 SFT,WoVR+ 在 RoboTwin 和 6 项真实机器人任务上的成功表现分别提升 21.09% 和 16.7%;摘要未明确这两项增幅是相对百分比还是百分点,不宜进一步换算。作者报告,长时程手机包装任务的成功率由 30% 提升至 75%。上述结果的任务划分、试验次数、统计不确定性及各模块消融尚未验证;复现还需核对世界模型训练数据、阶段入口重置条件、奖励定义和真实交互预算。 研究主要对象是机器人世界模型与 VLA 策略,并非 EEG 或 BCI。摘要未提供与神经信号任务的具体机制对应,不能据此认定其具有 BCI 有效性;相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何通过接口对齐、分块噪声与阶段局部训练降低世界模型幻觉对机器人策略优化的干扰,但摘要中的成功率提升仍需结合评估协议与消融验证。

来源:arXiv · 多模态与生成机制 · arxiv.org