跳到正文
arXiv · 泛化与分布偏移· Haomin Wang; Anqiong Ji; Ke Wang; Zhongshan Liu; Ru Ying; Ran Zheng; Zhipeng Zhang·· 19 小时前精选AI 评分79

WAVE-0:通过轻量级潜在未来预测连接 VLA 策略与 WAM

WAVE-0: Bridging VLA Policies and WAMs with Lightweight Latent Future Prediction

AI 导读

基于摘要分析。该研究面向通用机器人操控:视觉—语言—动作(VLA)策略通常不显式建模动作的环境后果,而世界动作模型(WAM)往往依赖昂贵的视频生成。WAVE-0(World-model-Augmented VLA Execution)在预训练 VLA 上引入轻量级潜在世界模型,让预测的动作后果直接参与动作生成。 核心机制是将视觉—语言模型(VLM)生成的潜在动作计划转换为未来表征,再以这些表征作为动作专家的条件,连接潜在规划、未来预测与动作生成。摘要给出的世界模型规模为 257M 参数;其直接使用真实机器人动作及反事实排序目标训练,不要求像素重建或大规模视频预训练。相较于仅将未来预测作为辅助训练目标的方案,本文强调在动作生成路径中直接使用预测结果;排序目标的具体形式、反事实构造方式及训练阶段安排尚未验证。 作者报告,在机器人操控评估中,RoboTwin 2.0 与 LIBERO 的成功率分别为 91.47% 和 98.7%;LIBERO-Plus、LIBERO-Pro、LIBERO-Para 上分别为 88.0%、61.4% 和 75.0%。作者还报告,在真实世界任务中,π_{0.5} 的成功率由 38.3% 提升至 73.3%。摘要未提供任务汇总方式、数据划分、试验次数或统计不确定性,因此这些结果只能保留在各自评估背景下,不能直接跨基准比较。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若研究对象是具有动作反馈的闭环 BCI 控制,本文“动作计划—未来状态预测—控制输出”的机制可能用于评估候选控制指令的后果,而不是直接替代 EEG 解码器。该假设依赖同步的神经信号、控制动作与后续环境状态数据;可尝试复用动作条件化预测和排序训练思路,但需改造状态编码及控制接口。低信噪比、跨被试差异、通道变化和小样本可能使未来预测不稳定,环境动力学也可能掩盖神经信号的贡献。一个可检验的小实验是在固定 EEG 解码器与一致数据划分下,对比有无潜在未来条件的闭环控制成功率,并核对增益是否来自神经输入而非仅来自环境状态。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其将动作条件化的潜在未来预测直接用于动作生成、并以反事实排序训练世界模型的机制;作者报告了机器人操控与分布偏移评估结果,但其对 EEG/BCI 的适用性尚未验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org