重新思考世界—动作模型的表示空间：像素、VAE 潜变量，还是语义表示？

基于摘要分析。本文研究机器人世界—动作模型（WAM）应在哪种表示空间中预测未来，在共享框架且不使用辅助目标的条件下，比较像素预测、VAE 潜变量预测与冻结预训练编码器的语义特征预测，考察表示选择与机器人操作泛化能力的关系。 研究动机是：基于视频生成模型的 WAM 在扰动下可能生成不合理或幻觉式未来，而额外增加其他表示上的辅助监督会提高后训练成本，并引入损失权重之间的权衡。作者设置 Pixel-WAM、VAE-WAM 与 RAE-WAM 三类模型，将未来预测空间作为主要比较因素。作者报告，在六种融合设计中，隐藏状态融合最有效地迁移了视频预训练能力；具体融合结构、训练目标及各组控制条件尚未验证。 结果方面，作者报告，在 LIBERO-Plus 上，采用隐藏状态融合的 V-JEPA RAE-WAM 从头训练成功率为 55.2%，对照结果为 DINOv2 RAE-WAM 的 45.7%、VAE-WAM 的 45.4% 和 Pixel-WAM 的 37.2%。这里的“从头训练”与冻结预训练编码器、视频预训练之间的具体关系需核对正文，不能理解为完全不依赖预训练。作者还报告，在无扰动的模拟双臂操作中，表示空间的性能排序相同；在真实双臂平台上，V-JEPA RAE-WAM 优于 π0.5 和 DreamZero，但摘要未提供该平台的具体成功率与评估协议。 作者据此主张，与重建像素或追加辅助监督相比，在预训练语义空间中预测未来可能是更有效的 WAM 设计方向。该结论目前限于所述机器人操作评估；任务组成、数据划分、扰动设置、训练预算、消融及统计信息尚未验证。本文不是 EEG/BCI 研究，不能将机器人操作收益直接视为神经信号建模收益；已有 EEG 相关工作尚未检索确认。