跳到正文
arXiv · 多模态与生成机制· Shafeef Omar; Sebastian Sanokowski; Elham Daneshmand; Dian Yu; Daniel Cremers; Cordelia Schmid; Majid Khadiv·· 3 天前精选AI 评分80

DiPLO:用于人形机器人移动操作的自蒸馏扩散规划

DiPLO: Self-distilled Diffusion Planning for Loco-manipulation

AI 导读

基于摘要分析。本文研究人形机器人移动操作中行走、平衡与物体交互的协同问题,提出 DiPLO,将自蒸馏扩散规划器与低层全身跟踪策略结合,以利用动作预训练并通过后训练提升计划的可执行性。 规划器首先在人类动作重定向至人形机器人的运动数据上进行监督预训练,跟踪器则通过强化学习学习执行这些动作。后训练包含两个阶段:Self-Distillation Diffusion Policy Optimisation(SD:DPO)旨在消除规划器对强任务条件的依赖;随后使用面向扩散模型的最大熵强化学习方法 Diffusion-Augmented Proximal Policy Optimization(DA:PPO),提高任务成功率,并使生成计划适配冻结跟踪器的执行能力。作者指出,强任务条件对预训练很重要,省略该条件后,下游微调未能恢复可比性能;具体条件内容、损失形式及对照协议尚未验证。 作者报告,在 pick-carry-place 任务中,仅以状态历史和目标作为条件的最终系统达到 99% 任务成功率,预训练模型为 45%;摘要未给出试验次数、目标划分或统计不确定性,因此该对照仅能按摘要所述任务背景理解。作者还报告对未见物体目标的动作生成,以及 kicking、pushing/pulling 任务评估,但未提供相应量化结果。硬件方面,作者报告将 DA:PPO 规划器与跟踪器部署到 Unitree G1,在未进行真实世界微调的情况下重复成功执行。 其可核对的技术问题是:自蒸馏如何保留强条件预训练所学的运动能力,以及 DA:PPO 如何在跟踪器冻结时改善计划与执行的匹配。训练数据规模、仿真与硬件评估协议、消融及统计信息尚未验证。本文主要贡献属于机器人运动规划与控制;材料未提供神经信号建模或 EEG/BCI 验证,不能直接据此推断脑机接口收益,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其通过自蒸馏削弱规划器对强任务条件的依赖、再用强化学习对齐冻结执行器的两阶段机制,但摘要中的机器人任务结果不构成 EEG/BCI 有效性证据。

来源:arXiv · 多模态与生成机制 · arxiv.org