跳到正文
OpenReview · Representation learning· Taeyoung Kim; Jimin Lee; Myungkyu Koo; Dongyoung Kim; Kyungmin Lee; Changyeon Kim; Younggyo Seo; Jinwoo Shin·· 2025-09-19精选AI 评分74

视觉-语言-动作模型的对比表征正则化

Contrastive Representation Regularization for Vision-Language-Action Models

AI 导读

基于摘要分析。本文研究机器人操纵中的 Vision-Language-Action(VLA)模型:预训练 Vision-Language Models(VLMs)提供的表征可能对控制动作、本体感知状态等机器人信号不够敏感。作者提出 Robot State-aware Contrastive Loss(RS-CL),以机器人本体感知状态之间的相对距离作为软监督,在原有动作预测目标之外加入表征正则化,使表征更贴近控制相关状态。 核心机制是利用连续状态间的相对关系指导对比表征学习,而非仅依赖动作预测监督。作者称该方法轻量且兼容标准 VLA 训练流程;具体距离度量、对比样本构造、损失形式、权重及计算开销尚未验证。 作者报告,在 RoboCasa-Kitchen 的 pick-and-place 任务中,操纵表现由 30.8% 提升至 41.5%,并将改善归因于抓取和放置时更准确的定位;在具有挑战性的真实机器人操纵任务中,成功率由 45.0% 提升至 58.3%。摘要未明确前一组百分比的指标名称,也未列出对应 VLA 基线名称。任务划分、试验次数、消融及统计信息尚未验证,两组结果不能脱离各自评估环境直接比较。 平台推测(待验证):若 EEG 运动解码具有与信号同步的运动学或动作状态标注,可检验以状态距离约束表征能否改善控制相关信息的保留;这是假设,并非本文已验证的 BCI 贡献。可复用的是距离软监督思路,需改造状态定义、时间对齐和距离度量。低信噪比、跨被试差异、通道变化及小数据可能使状态距离与 EEG 表征关系不稳定。一个小规模可证伪实验是:在固定数据划分与解码器下,对比原目标、加入状态距离正则化及打乱状态对应关系的对照,观察独立测试集上的解码收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是利用本体感知状态间的相对距离提供软监督、补充动作预测目标的表征正则化机制;作者报告了机器人操纵收益,但其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net