机器人策略应学习预测什么?重新思考视觉-语言-动作学习中的监督目标
What Should Robot Policies Learn to Predict? Rethinking Supervision Targets in Vision-Language-Action Learning
基于摘要分析。本文研究机器人视觉-语言-动作(VLA)策略在固定训练预算下,应如何在动作预测与辅助预测目标之间分配训练样本。核心贡献是以统一框架显式控制监督分配,检验将较大比例样本用于潜在动作(LA)或未来视觉(FV)预测,能否优于全部用于动作预测。 方法将双流多模态扩散 Transformer(MMDiT)与样本级路由器结合,每个训练样本被分配给动作预测或一种辅助目标。作者构建了三种基于 LAPA 及其 DINO 特征变体的 LA 目标,以及三种分别基于 DINOv3、V-JEPA 2 和 Wan2.2 表征的 FV 目标。摘要未说明路由分配规则、具体损失、预训练数据及预算计量方式。 作者报告,在 LIBERO、CALVIN 和四项真实机器人任务上,合适的 LA 与 FV 监督在相同预算下优于仅动作预测训练,即使分配给动作预测的样本不超过一半。作者报告,FV 总体优于 LA,但最强的 LA 目标在 CALVIN 上仍具有竞争力;诊断分析提示,基于 DINO 的 LA 目标更侧重相对运动,而 FV 目标更侧重绝对位置和任务身份。摘要未提供具体分数,实验划分、预算等价性、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,EEG 表征学习中辅助预测目标的选择及样本分配,可能影响有限训练预算下的下游解码效果,而非直接复用机器人的视觉目标。该机制依赖可构造且与任务相关的辅助监督;可借鉴样本级监督分配,但需重新定义 EEG 目标并适配信号编码。低信噪比、被试差异、通道变化和小数据可能使辅助目标偏向伪迹或个体特征。一个可证伪的小实验是在固定数据划分、模型及训练预算下,比较仅下游任务训练与分配部分样本进行未来 EEG 表征预测的方案,分别检查被试内与跨被试结果。此为平台假设,不是本文已验证结论;已有 EEG 相关工作尚未检索确认。
该研究在相同训练预算下比较动作、潜在动作与未来视觉监督,值得核对监督目标及样本分配是否比增加动作预测训练更有效,但其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 多模态与生成机制 · arxiv.org