跳到正文
OpenReview · Representation learning· Jisoo Kim; Jungbin Cho; Sanghyeok Chu; Ananya Bal; Jinhyung Kim; Gunhee Lee; Sihaeng Lee; Seung Hwan Kim; Bohyung Han; Hyunmin Lee; Laszlo A. Jeni; Seungryong Kim·· 2026-09-05精选AI 评分77

Pri4R:利用特权 4D 表征为 Vision-Language-Action 模型学习世界动力学

Pri4R: Learning World Dynamics for Vision-Language-Action Models with Privileged 4D Representation

AI 导读

基于摘要分析。Pri4R 面向机器人操作中的 Vision-Language-Action(VLA)模型,研究如何弥补语义理解与物理交互时空动力学建模之间的差距;核心贡献是在训练期引入特权 4D 信息,通过预测未来 3D 点轨迹增强共享表征,而在推理期保持原有 VLA 架构不变。 机制上,Pri4R 为 VLA 增加轻量点轨迹预测头,将 VLA 特征注入该预测头,联合预测未来 3D 轨迹,使共享表征包含场景几何随时间演化的信息,并供动作预测组件使用。摘要未给出损失形式、轨迹监督来源及生成流程,也未说明具体适配的 VLA 模型。作者称该设计仅需少量架构修改,且推理时不增加输入、输出或计算开销;这些结论的适用模型与测量条件尚需核对。 作者报告,在仿真与真实世界操作评估中取得性能改善,其中 LIBERO-Long 为 +10%,RoboCasa 为 +40%。摘要未明确这两个增幅对应的指标、相对提升还是绝对百分点变化、基线及数据划分,因此不能据此直接比较收益。作者还报告消融支持 3D 点轨迹作为动作—世界动力学监督目标的有效性;具体实验协议、消融及统计信息尚未验证。代码与检查点为计划发布,不能视为已可获取。 平台推测(待验证):可借鉴的是“训练期辅助动态预测、推理期移除辅助头”的表征学习机制,而非直接复用机器人几何监督。假设同步 EEG—动作或运动学数据可提供可靠对齐的未来轨迹监督,该机制可能帮助学习运动相关动态表征;需将视觉特征接口改为 EEG 编码器,并重设预测目标。EEG 的低信噪比、跨被试与通道差异、小样本条件,以及实际运动与运动想象的监督差异均可能使其失效。可先在固定跨被试划分下,对照相同 EEG 主干有无训练期轨迹辅助任务的解码表现,推理时均移除辅助头;该实验只检验这一迁移假设。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过训练期特权 4D 监督增强 VLA 动力学表征、而不改变推理架构的设计,但收益幅度及监督数据构建成本仍需全文核对。

来源:OpenReview · Representation learning · openreview.net