TS-WAM:用于视觉-语言机器人控制的时序潜在动作与世界-动作耦合
TS-WAM: Temporal Latent Actions and World-Action Coupling for Vision-Language Robot Control
基于摘要分析。TS-WAM 面向视觉-语言机器人控制,试图缓解策略对带动作标注的机器人示范的依赖,以及缺乏显式未来视觉状态预测的问题。其核心贡献是将自监督时序表征学习、视觉动态预测与机器人控制纳入统一的端到端训练,并利用无动作标注的人类视频参与学习。 机制上,Teacher-Student World-Action Model 中的 vlm-jepa 使用 EMA 目标分支,从机器人示范与无动作标注的人类视频等异构数据中学习,无需另行训练外部教师。它与 delta-lwm 耦合,根据当前观测和指令预测潜在动作,再以潜在动作预测未来视觉特征,并在推理时用这些特征引导动作生成。作者称,该流程不需要独立的潜在动作或世界模型预训练阶段;EMA 目标分支在推理时移除。摘要未给出具体损失形式、时序跨度、数据混合比例或部署开销,轻量化程度尚待核对。 作者报告,在 LIBERO、LIBERO-Plus、SimplerEnv,以及 Franka Research 3 和 RevoTron 的真实机器人操作实验中,TS-WAM 表现出较强的操作能力、泛化性与鲁棒性。但摘要未提供具体任务划分、对照基线、指标和数值,因此无法量化提升,也不能判断各模块的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在时序状态预测机制可作为 EEG 自监督表征学习的研究假设,但原任务依赖视觉序列、语言指令及机器人动作监督,不能直接等同于 BCI 解码。可考虑复用 EMA 目标与未来特征预测思路,重新设计 EEG 时序编码和监督目标;低信噪比、跨被试与通道差异可能使模型主要预测背景变化而非任务信息。一个小规模可证伪实验是在固定 EEG 数据划分、编码器和训练预算下,对比加入与不加入未来特征预测的跨被试解码表现。此建议并非本文已验证结果,相关 EEG 工作尚未检索确认。
值得核对其如何通过时序潜在动作与未来视觉特征预测联合利用带动作标注和无动作标注的视频,以及这种耦合相对独立预训练方案的实际收益;摘要尚未提供定量结果与消融证据。
来源:arXiv · 多模态与生成机制 · arxiv.org