跳到正文
OpenReview · Representation learning· Guangqi Jiang; Yifei Sun; Tao Huang; Huanyu Li; Yongyuan Liang; Huazhe Xu·· 2024-01-01精选AI 评分77

机器人预训练机器人:从大规模机器人数据集中学习以操作为中心的机器人表征

Robots Pre-train Robots: Manipulation-Centric Robotic Representation from Large-Scale Robot Datasets

AI 导读

基于摘要分析。研究针对机器人视觉表征预训练中,人类视频与机器人任务之间的分布偏移,以及操作动力学信息不足的问题,提出 Manipulation Centric Representation(MCR),利用机器人数据中的视觉观测、本体感知状态和动作联合学习面向操作的表征。 作者首先评估不同预训练表征与下游机器人操作任务的相关程度,将其称为“操作中心性”,并报告该属性能够较好指示下游任务成功率。MCR 在 DROID 机器人数据集上预训练视觉编码器,以对比损失对齐视觉观测与机器人本体状态—动作动力学,同时结合用于预测动作的类行为克隆(BC)actor 损失和时间对比损失。摘要未给出操作中心性的具体定义、损失公式与权重或采样方式。 作者报告,在覆盖 4 个仿真域、20 项任务的评估中,MCR 相对最强基线提升 14.8%;在使用 UR5e 机械臂开展的 3 项真实世界任务中,数据高效学习性能提升 76.9%。摘要未明确这两项提升的指标定义、相对增幅计算方式、基线名称及数据划分,因此不能将其解释为成功率提高相应百分点。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 研究考察的机制是以同步的行为或运动状态辅助神经信号表征学习,而不是直接复用机器人视觉编码器。该假设依赖可靠对齐的 EEG、行为状态或动作记录,需改造输入编码器与配对策略;低信噪比、运动伪迹、跨被试差异及小样本可能使表征主要捕捉非神经相关线索。可在具备同步记录的数据上,以固定跨被试划分比较 EEG 单独预训练与增加状态—动作对齐约束的表现,并通过打乱配对检验收益是否依赖真实对应关系。原领域结果不构成 BCI 有效性证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以机器人本体状态和动作约束视觉预训练的机制,以及“操作中心性”与下游成功率的关联证据,但摘要不足以判断各损失的独立贡献及其对 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net