跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分78

通过动作表征预训练扩展灵巧操作能力

Scaling Dexterous Manipulation via Action Representation Pretraining

AI 导读

基于摘要分析。本文研究机器人复杂灵巧操作中示范数据稀缺的问题,提出 ARPG(Action Representation Pretraining and Generation),将动作表征学习与任务条件动作生成分离,以减少有限机器人示范同时承担两类学习目标的压力。 方法先利用大规模人类操作数据预训练动作表征编码器,再冻结该编码器,训练参数量为 130M 的紧凑生成骨干,在编码器的表征空间内学习任务条件动作分布。其核心思路是将人类操作数据用于表征预训练,使这部分数据规模成为独立于下游机器人示范的扩展维度。摘要未说明人类操作数据的具体模态、动作编码方式、预训练损失,以及人类与机器人动作空间如何对齐。 作者报告,ARPG 在 DexJoCo benchmark 上达到最先进性能;在双臂灵巧操作评估中,平均成功率由 π₀.₅ 的 10.1% 提升至 44.7%。上述结果的具体任务构成、数据划分和基线配置尚未验证。作者还报告,在嵌套式数据规模实验中,人类操作预训练数据从 10 小时增加至 500 小时,下游表现随之改善;各数据规模下的具体指标、消融及统计信息尚未验证。 该研究的主要对象是机器人动作生成,而非神经信号解码。当前摘要未提供 EEG/BCI 数据与动作表征之间的具体接口或监督对应关系,因此不将其结果外推为 BCI 性能提升,也不据此提出迁移复现实验。复现原方法仍需核对预训练数据、动作表征定义、训练目标、任务条件输入及评估协议;代码与权重的开放情况尚未验证。

阅读价值

值得关注其将动作表征预训练与任务条件动作生成解耦的机制,以及独立扩展人类操作预训练数据的实验;其机器人任务结果不构成 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net