运动词元:面向人类到人形机器人技能迁移的运动基元学习
Tokens of Motion: Primitive Motion Learning for Human-Humanoid Skill Transfer
基于摘要分析。研究针对人类视频缺少机器人可直接执行的动作、且人与机器人在具身形态及运动学上存在差异的问题,提出 Motion Primitives for Action Composition and Transfer(M-PACT),将运动基元学习与具身特定的动作实现分离,以利用大规模人类运动数据并减少对机器人示范的依赖。 方法从三维人手姿态轨迹中发现局部运动片段,学习紧凑的运动基元表示,旨在捕捉可复用、独立于机器人具身形态的操控模式。随后依据任务与观测上下文选择、组合基元,再由轻量级、具身特定的解码器映射为机器人运动。迁移到新具身形态时保留基元表示,仅适配动作实现模型。摘要未说明具体分段算法、表示是否离散化、训练损失或上下文建模方式,不能仅凭标题中的 Tokens 推断其采用特定词元化架构。 作者报告,在 EgoDex、HoloAssist 和 HumanoidEveryday 上的实验展示了跨数据集、跨具身迁移能力,并称轻量级解码器适配使用少至约100条机器人示范即可获得较强的人形机器人运动重建效果。该结果针对运动重建;具体指标、数据划分、对照基线、示范长度及实际操控任务表现尚未验证,实验协议、消融及统计信息亦需查阅全文。 本研究的主要对象是人类到人形机器人的运动技能迁移,不是 EEG 解码或 BCI。其核心依赖具有运动学结构的三维人手轨迹与具身特定机器人数据,摘要未建立这些表示与神经信号之间的对应关系,因此不据此推导 BCI 有效性或提出 EEG 复现实验;已有 EEG 相关工作尚未检索确认。
值得核对其将可复用运动基元与具身特定动作实现解耦的机制,尤其是约100条机器人示范下解码器适配的评估协议;摘要中的运动重建结果尚不能等同于实际操控任务成功率。
来源:OpenReview · Representation learning · openreview.net