TraceGen:在 3D 轨迹空间中进行世界建模,实现从跨具身视频中学习
TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
基于摘要分析。该研究面向机器人在新平台、新场景中仅凭少量演示学习操作任务的问题,提出 TraceGen:将人类及不同机器人视频统一为紧凑的场景级 3D 轨迹表示,在轨迹空间而非像素空间预测未来运动,以降低外观差异的影响并保留操作所需的几何结构。 核心机制是利用统一的 trace-space 连接跨具身、跨环境及跨任务的视频。配套数据流水线 TraceForge 将异构人类与机器人视频转换为一致的 3D 轨迹。作者报告,该流程形成包含 123K 视频、1.8M 个 observation-trace-language 三元组的语料,用于预训练可迁移的 3D 运动先验。摘要未说明轨迹提取与几何对齐的具体实现、模型结构、训练损失及目标平台适应方式,这些内容尚未验证。 作者报告,在仅使用五个目标机器人视频进行适应的设置下,TraceGen 在四项任务上达到 80% 成功率;相较所对照的先进视频世界模型,推理速度提升 50–600 倍。对照模型身份、推理硬件、耗时统计口径、试验次数及任务间汇总方式尚未验证。另在仅有五个手持手机拍摄、未经标定的人类演示视频的设置下,作者报告真实机器人成功率为 67.5%。两种演示条件不同,不能将其结果直接解释为同一协议下的性能变化。 摘要强调该方法不依赖物体检测器或重型像素空间生成,但其对视频质量、3D 轨迹估计误差及场景变化的敏感性仍需核对全文;实验协议、消融及统计信息尚未验证。本文的直接研究对象是机器人操作与跨具身学习,未提供 EEG/BCI 实验,也未建立神经信号与 3D 轨迹表示之间的具体机制对应,因此不据此提出 BCI 迁移效果或复现实验建议。已有 EEG 相关工作尚未检索确认。
值得阅读其以统一 3D 轨迹表示替代像素生成、利用异构视频学习可迁移运动先验的机制,但摘要中的机器人少样本适应结果不构成 EEG/BCI 有效性的证据。
来源:OpenReview · State space models · openreview.net