Vidar:面向通用操控的具身视频扩散模型
Vidar: Embodied Video Diffusion Model for Generalist Manipulation
基于摘要分析。Vidar 研究机器人操控策略迁移到新机器人形态时对大量示范数据的依赖,以及端到端像素到动作流程对背景和视角变化的敏感性。其核心贡献是将具身视频扩散模型作为可泛化先验,以 masked inverse dynamics model(MIDM,掩码逆动力学模型)适配目标机器人的动作空间。 方法利用经互联网规模数据预训练的视频扩散模型,再以来自三个真实机器人平台的 750K 条多视角轨迹进行具身领域持续预训练。作者提出统一观测空间,联合编码机器人、相机、任务与场景上下文。MIDM 无需密集标注即可学习与动作相关的像素掩码,用于将视频先验落实到目标动作空间并抑制干扰;具体掩码学习目标、模型结构及训练流程尚未验证。 作者报告,在未见机器人上仅使用约 20 分钟的人类示范、约为其所述典型数据量的 1% 时,Vidar 优于所比较的先进基线,并能泛化到未见任务、背景和相机布局。摘要未提供具体基线、任务成功率、评估次数或统计不确定性,因此这些结论目前只能按摘要所述条件理解,实验协议、消融及统计信息尚未验证。摘要也未说明代码、权重及数据的开放情况。 平台推测(待验证):可供 EEG/BCI 研究借鉴的是“通用先验与目标域适配解耦”的设计,而非直接复用机器人视频模型。假设信号中可分离任务相关成分与干扰成分,无密集标注的任务相关掩码可能有助于处理伪迹或通道干扰;但视频的空间结构和动作监督并不等同于 EEG 的时序、通道结构与任务标签,编码器、掩码定义及适配目标均需改造。低信噪比、跨被试差异和小样本训练可能使掩码误删有效神经信号。一个可证伪的小实验是在固定跨被试划分及相同适配数据量下,对比同一 EEG 预训练骨干的无掩码适配与可学习掩码适配,并测试受控通道干扰下的表现;已有相关 EEG 工作尚未检索确认。
值得关注其将通用视频先验与目标机器人动作适配解耦、并通过无密集标注的像素掩码抑制干扰的机制,但少量示范下的泛化效果仍需核对完整实验协议,不能直接推及 EEG/BCI。
来源:OpenReview · State space models · openreview.net