跳到正文
OpenReview · State space models· Seungjae Lee; Yoonkyo Jung; Inkook Chun; Yao-Chih Lee; Zikui Cai; Hongjia Huang; Aayush Talreja; Tan Dat Dao; Yongyuan Liang; Jia-Bin Huang; Furong Huang·· 2025-11-25精选AI 评分80

TraceGen:三维轨迹空间中的世界建模支持从跨具身视频学习

TraceGen: World Modeling in 3D Trace Space Enables Learning from Cross-Embodiment Videos

AI 导读

基于摘要分析。该研究面向机器人在新平台、新场景中仅凭少量演示学习新任务的问题,提出 TraceGen:在紧凑的三维“轨迹空间”(trace-space)中预测未来运动,而非生成未来像素,从而利用人类与不同机器人之间的跨具身视频学习可迁移的运动先验。 核心机制是以场景级三维轨迹构成统一的符号表示,抽离外观差异,同时保留机器人操作所需的几何结构。配套数据管线 TraceForge 将异构人类与机器人视频转换为一致的三维轨迹。作者报告,该管线得到包含 123K 个视频、1.8M 个 observation-trace-language 三元组的语料,用于规模化预训练。摘要未说明轨迹提取、坐标对齐、语言监督的具体作用,也未提供模型架构、损失函数及适应流程;不能由来源栏目推断其采用特定 State Space Model。 作者报告,在仅使用五个目标机器人视频进行适应的设置下,TraceGen 在四项任务上达到 80% 成功率;相较于作者所称的先进视频式世界模型,推理速度提升 50–600 倍,但摘要未给出具体对照模型、硬件、预测长度或计时范围。另一设置仅提供五个人类演示视频,视频由手持手机拍摄且未经标定,作者报告真实机器人成功率为 67.5%。这两个设置的任务构成与汇总方式尚未验证,不宜直接比较成功率。 全文核对重点包括三维轨迹恢复对几何信息与标定条件的依赖、预训练与目标任务的数据划分、成功判定及试验次数,以及表示选择和数据规模的消融与统计信息。作者称方法无需依赖物体检测器或繁重的像素空间生成,具体实现边界尚未验证。研究对象是机器人操作而非 EEG 或 BCI,现有摘要不足以建立具体神经信号迁移路径;其机器人结果不能作为 BCI 有效性的证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其用紧凑三维轨迹表示替代像素空间预测、统一异构演示视频的机制,以及作者报告的少样本机器人适应结果;具体评估协议与推理加速条件仍需全文核对。

来源:OpenReview · State space models · openreview.net