跳到正文
arXiv · 表征与预训练· Artem Zholus; Nicolas Beltran-Velez; Jianhao Yuan; Sarath Chandar; Tushar Nagarajan; Daniel Severo; Koustuv Sinha; Michal Drozdzal; Adriana Romero Soriano; Jeannette Bohg; Nicolas Ballas; Mahmoud Assran·· 4 天前精选AI 评分80

RoboJEPA:机器人潜在世界模型的规模扩展

RoboJEPA: Scaling Robotic Latent World Models

AI 导读

基于摘要分析。该研究针对机器人潜在世界模型的能力如何随模型规模、数据与计算量扩展这一问题,提出基于 Joint Embedding Predictive Architecture(JEPA)的 RoboJEPA,并研究潜在状态预测误差与下游真实机器人规划表现的关系。主要研究对象是机器人世界模型及其规模规律,而非 EEG 解码或 BCI。 机制与训练:RoboJEPA 在覆盖 12 种机器人具身形态的大规模数据集上训练,通过潜在空间中的 rollout 预测未来状态。作者将这类预测误差称为 imagination error,并报告其随计算量变化遵循二阶幂律,可预测超出拟合规模范围的模型质量。摘要未提供幂律公式、拟合区间、训练目标、输入组成或数据划分,具体机制与外推可靠性尚需正文核对。 结果与贡献:作者报告,下游机器人规划表现随计算量可预测地改善,且与 imagination error 强相关,因而可将后者用作真实机器人评估的代理指标。作者还报告,模型可零样本部署为机器人智能体,以单张目标图像指导规划,在真实硬件上完成需要长时程规划的任务;任务设置、成功率、对照基线及零样本条件尚未验证。摘要称 RoboJEPA 达到 8B 参数,并由作者声称是当时最大的 JEPA predictor;关于真实机器人数据上多具身世界模型规模规律的“首次”主张亦仅为作者声明。 复现与边界:作者表示发布全部模型检查点、训练代码及机器人部署代码,但本次未核验发布内容。需重点核对代理误差与规划表现的相关性是否跨任务、机器人形态和训练规模成立,以及数据规模与模型规模对计算量规律的贡献。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在预测误差作为下游表现代理指标的思路,可能启发 EEG 自监督预训练的规模评估,但这是迁移假设。可复用的是潜在预测与规模拟合框架;输入表征、预测时距及目标图像规划模块不能直接迁移,需适配多通道时序和 EEG 下游任务。低信噪比、跨被试差异、通道配置变化与小数据可能使预测误差主要反映非任务因素。可在固定 EEG 数据划分下训练不同规模模型,检验潜在预测误差能否预测冻结表征的跨被试解码表现;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其潜在 rollout 误差能否跨训练规模预测真实机器人规划表现,以及该代理指标的适用边界;摘要支持机器人领域的作者结论,尚不支持 EEG/BCI 有效性。

来源:arXiv · 表征与预训练 · arxiv.org