跳到正文
OpenReview · Representation learning·· 2026-09-17精选AI 评分80

DOLA:基于观测差分的潜在动作预训练

DOLA: Latent Action Pretraining from Delta Observations

AI 导读

基于摘要分析。该研究面向机器人视觉运动学习,提出 DOLA(Delta-Obs Latent Actions),从不含动作标签的视频中学习潜在动作,以缓解带标签示范数据有限的问题。核心贡献是将相邻观测嵌入的差分显式作为逆动力学模型的条件,使潜在动作表征更直接地对应动作引起的状态变化。 机制上,常见潜在动作模型通过联合训练逆动力学与前向动力学模型,借助瓶颈式重建学习动作表征;DOLA 则引入状态变化这一归纳先验,将差分条件逆动力学模型与编码器、自回归前向动力学模型共同训练,后者负责重建多个未来嵌入。摘要未给出差分的具体计算方式、潜在变量形式及损失细节。 作者报告,在四个模拟环境组成的评估中,DOLA 学得的潜在动作可线性恢复操作与导航任务的真实动作。作者还报告,使用来自两台机器人的非配对数据、以异构关节速度动作进行锚定训练的单一模型,可学习共享潜在空间,线性恢复末端执行器的笛卡尔位移,并支持跨机器人形态的开环轨迹迁移。在真实 Franka 机械臂实验中,作者报告利用 75 分钟与任务无关的随机校准数据,执行了现成视频生成器给出的零样本视频计划;摘要未提供任务成功率及具体评估协议。作者说明开展了关键组件消融,但实验协议、消融结果及统计信息尚未验证。 平台推测(待验证):其可供 EEG 表征研究考察的是“以嵌入变化而非仅以状态重建约束潜变量”的假设,而非直接迁移机器人动作语义。原方法依赖连续观测中的可预测状态变化;EEG 嵌入差分可能主要反映噪声、伪迹或非平稳性,而不对应可辨识动作。若探索迁移,可复用差分条件与未来嵌入预测思路,但需改造 EEG 编码器、时间尺度及任务监督锚点。一个可证伪的小实验是在固定数据划分和模型容量下,对比差分条件与成对嵌入条件对 MI 表征线性探测的影响,并核对低信噪比、通道变化及跨被试条件下收益是否稳定;小数据下联合预测也可能过拟合。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以相邻观测嵌入差分约束潜在动作、并通过跨机器人动作恢复与轨迹迁移检验表征的机制,但这些机器人结果尚不能作为 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net