跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分78

MiniWAM:学习紧凑未来目标以实现高效世界—动作建模

MiniWAM: Learning Compact Future Targets for Efficient World-Action Modeling

AI 导读

基于摘要分析。本文研究机器人策略学习中的世界—动作模型(WAM):联合预测动作与未来状态时,直接预测预训练视觉骨干原生表示会产生高维目标和较高训练成本。MiniWAM 的核心贡献是先学习紧凑、与控制相关的未来表示,再将其作为联合动作学习的预测目标,而非直接预测原生视觉未来特征。 方法上,作者提出 Predictive Representations via Inverse Spatiotemporal Modeling(PRISM),利用训练阶段特权的当前—未来转移信息,将逆动力学监督与特征重建结合,以突出控制相关的转移信息,同时保留有用的未来状态信息。随后冻结学得的 PRISM 编码器,让 MiniWAM 从当前观测联合预测紧凑目标与机器人动作。摘要未提供具体损失形式、目标构造细节及训练阶段的数据访问边界。 作者报告,在使用 DINOv3 与 WAN2.1 VAE 特征的对照中,MiniWAM 的未来特征目标 token 数减少 65 倍,并持续优于原生未来特征预测;世界—动作训练最高加速 8 倍,具体计时范围与硬件条件尚未验证。作者还报告,0.25B 参数的 MiniWAM 在 LIBERO、LIBERO-Plus 和 Robotwin 2.0 仿真基准上已能与明显更大的 WAM 竞争,但摘要未给出各基准成绩、具体对照规模或数据划分,不能据此量化性能差距。表示分析支持 PRISM 相较仅使用特征重建能引入额外的行为结构,这是作者报告的结论。 复现重点是紧凑表示的学习过程、逆动力学监督与重建的贡献,以及包含 PRISM 预训练成本后的总体效率。实验协议、消融及统计信息尚未验证,代码与权重可用性也尚未验证。本文的主要研究对象是机器人视觉控制,摘要未提供 EEG 或 BCI 验证,不应将仿真控制收益视为神经信号建模效果。

阅读价值

值得核对 PRISM 如何在压缩未来预测目标的同时保留控制相关信息,以及其相对原生未来特征预测的收益能否在相同训练预算下复现。

来源:OpenReview · Representation learning · openreview.net