跳到正文
OpenReview · Representation learning·· 2026-09-14精选AI 评分80

通过对比表征学习构建因果启发的世界动作模型

Causality-Inspired World Action Model via Contrastive Representation Learning

AI 导读

基于摘要分析。该研究面向机器人操作中的世界动作模型(WAMs),处理视频预测所需的外观信息与稳健控制所需的外观不变性之间的矛盾,提出后训练方法 CausalWAM,通过保持动作不变的视觉干预,显式监督不同外观观测之间的操作状态对应关系。 方法在保留机器人—物体几何关系、任务指令及示范动作的前提下改变场景外观,意在只改变观测机制而不改变底层操作状态。对比目标对齐同一状态的不同渲染,并区分同一任务内的不同状态。共享内容读取器向动作专家提供紧凑 token,与其原有视觉条件共同用于动作学习。该设计既支持冻结视频骨干后的接口学习,也支持视频与动作的联合适配;摘要未给出具体损失形式、干预生成流程或训练规模。 作者报告,在动作示范仅来自 Clean 场景的设置下,CausalWAM-Joint 在 RoboTwin 2.0 Randomized 上的成功率为 34.7%,对照 FastWAM 为 1.9%;在七类未见过的 LIBERO-Plus 扰动上,平均成功率为 79.4%。作者还报告,真实机器人视觉干扰条件下的成功率由 15.6% 提升至 46.7%,但摘要未明确该项对照配置;在 50 个 RoboTwin 任务上,CausalWAM-Interface 的跨外观状态检索提升 9.42 个百分点,具体检索指标和对照尚未验证。这些不同任务及协议下的结果不能直接横向比较。 关键待核对事项包括视觉干预是否确实保持操作状态、状态对应监督的构造成本,以及内容读取器与联合适配各自的贡献。实验划分、重复试验、消融及统计信息尚未验证。本文的主要证据来自视觉机器人操作,不构成 EEG 或 BCI 有效性证据;尚未检索确认相关 EEG 工作。

阅读价值

值得关注的是以保持动作不变的视觉干预定义状态对应关系,并将对比表征接入动作学习;作者报告的跨外观检索与扰动下控制结果提供了可核对的证据,但干预有效性及评估细节尚待全文验证。

来源:OpenReview · Representation learning · openreview.net