LARA:面向视觉-语言-动作模型的潜动作表征对齐
LARA: Latent Action Representation Alignment for Vision-Language-Action Models
基于摘要分析。本文研究机器人视觉-语言-动作(VLA)模型受限于真实动作数据稀缺的问题,提出 Latent Action Representation Alignment(LARA),通过表征对齐联合优化潜动作模型(LAM)与 VLA,以利用无标注人类视频中的视觉动态辅助动作学习。 机制上,LAM 从视觉动态中学习潜动作表征,为 VLA 提供额外监督。传统分开训练方式使 LAM 在 VLA 训练时缺少动作轨迹约束,同时冻结的 LAM 表征限制了 VLA 的学习。LARA 的核心是建立双向约束:LAM 利用动作轨迹学习,减少对与动作无关的视觉变化的依赖;VLA 则受到 LAM 所学前向动力学的正则化,以减少功能上无效的动作轨迹生成。摘要将其描述为即插即用框架,但具体对齐目标、梯度传递方式、训练阶段及数据配对要求尚未验证。 作者报告,在三个仿真和一个真实机器人操作基准构成的评估中,针对预训练、预训练 VLA 的后训练增强和 LAM 改进,平均提升分别约为 10%、5% 和 15%。摘要未明确这些百分比对应的指标、相对提升或百分点含义,也未给出各基准结果及对照基线,因此不能据此判断不同设置下的实际收益。实验协议、消融及统计信息尚未验证。 作者声明代码已公开,但代码完整性、运行条件和结果可复现性尚未核验。论文主要对象是机器人操作,并非 EEG/BCI;当前材料未建立神经信号与潜动作对齐的具体对应关系,不宜将机器人结果解释为 BCI 算法效果。已有 EEG 相关工作尚未检索确认。
值得关注的是 LARA 通过联合对齐缓解冻结潜动作表征对 VLA 学习的约束,但摘要中的提升幅度仍需结合具体指标、基线和实验协议核对,其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net