跳到正文
arXiv · 多模态与生成机制· Zibo Zhou; Yueru Chen; Junsong Wu; Weiji Xie; Qingyao Xu; Sheng Yin; Shiqing Wang; Jiyuan Shi; Siheng Chen; Chenjia Bai; Xuelong Li·· 2 天前精选AI 评分79

KODA:面向从人类第一视角演示中进行人形机器人学习的运动学—观测数据对齐

KODA: Kinematics--Observation Data Alignment for Humanoid Learning from Human Egocentric Demonstration

AI 导读

基于摘要分析。KODA 研究如何将人类第一视角 RGB 演示转换为人形机器人全身视觉—语言—动作(VLA)策略的训练数据,核心贡献是以可复用的规范轨迹统一机器人视角观测合成与全身状态—动作监督生成,缓解人类与机器人视角不一致、运动线索稀疏及控制器命令难以复用的问题。 方法首先利用稀疏追踪器和基于采样的命令优化,生成经过仿真器检查的全身轨迹;该轨迹直接确定机载相机位姿,用于合成与运动对应的机器人视角观测。运动、观测与任务指令共同组成规范记录。针对部署控制器,KODA 再优化命令以跟踪已存储的运动,并记录相应动作标签和本体感知状态。切换控制器时保留规范记录,重新生成控制器专属的状态—动作监督,并与匹配的机器人演示联合训练。因此,其复用对象主要是运动—观测—指令记录,而非可直接跨控制器执行的动作命令;该流程仍使用机器人数据。 作者报告,在四项 Unitree G1 移动操作任务、SONIC 与 HEFT 两种全身控制器上,固定机器人数据后,对于人类演示覆盖但机器人数据未覆盖的条件,宏平均成功率分别提升 45.0 和 46.25 个百分点。在已评估的人类数据用量范围内,两种控制器下该指标均呈上升趋势;这支持进一步研究数据扩展潜力,但不能据此断言范围外的扩展收益。 尚需全文核对视角合成方法、稀疏运动信息的获取方式、轨迹与命令优化目标、仿真检查标准,以及各条件划分、基线成功率、数据规模、消融和统计信息。摘要未提供代码与复现配置。该工作的主要对象是机器人演示转换与控制器适配,现有材料不足以建立具体的 EEG/BCI 迁移机制,因此不作相关效果推断或复现实验建议。

阅读价值

值得核对其以可复用规范轨迹连接视角合成与控制器专属监督的机制;作者报告在固定机器人数据的条件下,补充人类演示可提高未被机器人数据覆盖条件下的任务成功率,但该结果不构成 EEG/BCI 有效性的证据。

来源:arXiv · 多模态与生成机制 · arxiv.org