跳到正文
OpenReview · State space models· Yao Feng; Hengkai Tan; Xinyi Mao; Guodong Liu; Shuhe Huang; Chendong Xiang; Hang Su; Jun Zhu·· 2025-01-01精选AI 评分79

Vidar:面向通用双臂操作的具身视频扩散模型

Vidar: Embodied Video Diffusion Model for Generalist Bimanual Manipulation

AI 导读

基于摘要分析。该研究针对机器人迁移到新具身平台时依赖大量示范,以及像素到动作的 VLA 流程容易受到背景和视角变化影响的问题,提出 Vidar:以具身视频扩散模型提供可迁移先验,再通过 masked inverse dynamics model(MIDM,掩码逆动力学模型)将先验适配到目标机器人的动作空间。 方法将通用交互建模与具身相关动作映射解耦。视频扩散模型先在互联网规模视频上预训练,再使用来自三个真实机器人平台的 750K 条多视角轨迹进行域适应;统一观测空间编码机器人、相机、任务和场景上下文。MIDM 无需密集标签即可学习与动作相关的像素掩码,以抑制干扰并实现动作空间对齐。作者认为,视频生成先验能够从大量无标签视频中隐式学习可供性、接触动力学与物理一致性;这些能力的独立验证方式尚未明确。 作者报告,在未见过的机器人上仅使用 20 分钟人类示范,约为其所称典型数据量的 1%,即可优于所比较的先进 VLA 基线,并泛化到未见任务、背景和相机布局。摘要未提供任务成功率、基线名称、重复实验与统计信息,也未展开各泛化设置的数据划分,因此该结果只能在作者所述评估前提下理解,实验协议、消融及统计信息尚未验证。 本文主要研究对象是机器人双臂操作,而非神经信号解码。当前材料不足以建立视频先验和像素掩码机制到 EEG/BCI 的具体迁移路径,不据此提出 BCI 效果或复现实验结论;相关 EEG 工作尚未检索确认。复现还需核对预训练数据构成、轨迹组织、MIDM 训练目标、动作表示,以及模型和实现的开放情况。

阅读价值

值得关注其将通用视频先验与具身动作适配解耦的机制,但少量示范下优于 VLA 基线的结论仍需结合完整评估协议核对,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · State space models · openreview.net