TraceGen:在 3D 轨迹空间中进行世界建模,实现从跨具身视频中学习
TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos
基于摘要分析。该研究面向机器人在新平台和新场景中仅凭少量演示学习操作任务的问题,提出 TraceGen:通过预测场景级 3D 轨迹而非未来像素,利用人类及不同机器人视频学习可迁移的运动先验,减少具身、相机和环境差异对视频复用的影响。 核心机制是构建紧凑的符号化 3D “trace-space”,抽象外观差异,同时保留操作所需的几何结构。作者还提出 TraceForge 数据处理流程,将异质人类与机器人视频转换为一致的 3D 轨迹。作者报告,该流程形成了包含 123K 个视频、1.8M 个 observation–trace–language 三元组的预训练语料。摘要未说明轨迹提取与坐标统一方式、模型架构、训练目标,以及语言信息在训练和推理中的具体作用。 作者报告,在仅使用五个目标机器人视频进行适应的条件下,TraceGen 在四项任务上达到 80% 成功率;相较于作者所称的最先进视频世界模型,推理速度提升 50–600 倍。该速度比较的模型名单、硬件、预测长度与计时范围尚未验证。另一个更具挑战的设置仅提供五个由手持手机拍摄、未经标定的人类演示视频,作者报告真实机器人成功率达到 67.5%。两种设置的演示来源不同,不宜直接合并解释;任务构成、测试次数、成功判据、数据划分、消融及统计信息尚未验证。 阅读与复现的重点是核对:3D 轨迹构建需要哪些几何估计或监督,预训练与目标任务之间如何划分,以及表示转换的误差如何影响最终操作。论文主要研究对象是机器人操作,摘要未提供 EEG/BCI 实验。其几何轨迹表示与神经信号之间尚无材料支持的具体对应关系,因此不将跨具身迁移结果改写为跨被试或跨会话 EEG 效果;已有 EEG 相关工作尚未检索确认。全文、代码和数据可用性尚未验证。
值得核对的是以紧凑 3D 轨迹替代像素生成的跨具身学习机制,以及少量目标演示下的适应效果与推理成本;摘要尚不支持其对 EEG/BCI 的有效性判断。
来源:OpenReview · State space models · openreview.net