跳到正文
OpenReview · Representation learning· Shizhe Chen; Ricardo Garcia Pinel; Ivan Laptev; Cordelia Schmid·· 2024-06-17精选AI 评分76

SUGAR:面向机器人学的 3D 视觉表征预训练

SUGAR: Pre-training 3D Visual Representation for Robotics

AI 导读

SUGAR 面向机器人在复杂 3D 场景中的视觉理解问题,通过点云预训练联合学习物体的语义、几何与可供性表征,重点处理遮挡、物体定位及杂乱多物体场景理解。基于摘要分析,未取得论文全文。 方法上,作者自动构建模拟多物体数据集,利用模拟环境可提供的监督信息进行预训练。SUGAR 采用基于 transformer 的模型,联合处理五类任务:以跨模态知识蒸馏学习语义,以掩码点建模学习几何结构,以抓取位姿合成学习物体可供性,以及通过 3D 实例分割和指代表达定位理解杂乱场景。其核心思路不只是把 2D 表征替换为 3D 表征,而是将多物体场景与多种监督目标结合,覆盖机器人操作所需的不同属性。 作者报告,在零样本 3D 物体识别、指代表达定位和语言驱动的机器人操作三类任务上,SUGAR 的表征优于所比较的先进 2D 与 3D 表征。摘要未提供数据集名称、数据规模、划分、具体基线、指标及数值,因此无法判断优势幅度及适用范围;模型配置、损失权重、实验协议、消融及统计信息尚未验证。 该研究的主要对象是机器人 3D 视觉表征,而非 EEG 或 BCI。其点云几何、抓取位姿和模拟场景监督均具有明确的领域依赖,现有材料不足以建立向神经信号解码迁移的具体机制对应,因此不据此推断 BCI 效果或提出复现实验。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以模拟多物体场景和五类预训练任务联合学习语义、几何与可供性的机制,但摘要不足以核对各任务贡献及性能优势的具体评估条件。

来源:OpenReview · Representation learning · openreview.net