跳到正文
OpenReview · Representation learning· Jianxiong Li; Jinliang Zheng; Yinan Zheng; Liyuan Mao; Xiao Hu; Sijie Cheng; Haoyi Niu; Jihao Liu; Yu Liu; Jingjing Liu; Ya-Qin Zhang; Xianyuan Zhan·· 2024-06-19精选AI 评分77

DecisionNCE:通过隐式偏好学习获得具身多模态表征

DecisionNCE: Embodied Multimodal Representations via Implicit Preference Learning

AI 导读

基于摘要分析。本文研究自主机器人中的多模态表征预训练,提出 DecisionNCE,以统一目标联合学习局部与全局任务进展、视觉表征的时间一致性,以及轨迹级语言指令对齐,旨在同时支持表征学习与奖励学习。 核心机制是将视觉轨迹与语言指令之间的匹配关系视为隐式偏好:轨迹应比不匹配指令更符合其对应指令。作者通过适当的奖励重参数化,将 Bradley-Terry 模型转化为表征学习目标。所得目标形式类似 InfoNCE,但面向决策任务设计;摘要描述其通过隐式时间对比学习约束时间一致性,并通过多模态联合编码实现轨迹级指令对齐。相较于分别设置多个目标的方法,本文的主要贡献在于尝试以统一偏好建模整合这些学习需求,具体损失表达式与采样方式尚未验证。 作者报告,在仿真与真实机器人评估中,DecisionNCE 能支持多种下游策略学习任务。摘要未提供具体任务、数据规模、划分、对照方法或数值结果,因此不能判断收益幅度及其适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 任务具有可定义的时间进展及配对任务描述,可检验“匹配轨迹—指令优于错配组合”的偏好监督是否有助于时序表征学习。可复用的是偏好建模与对比目标,需改造视觉编码器、EEG 时间窗及正负配对策略;低信噪比、跨被试差异和小数据可能使模型依赖被试特征或任务标签,而非真实进展。一个小规模可证伪实验是在固定跨被试划分下,对比加入该偏好目标前后的相同 EEG 编码器,并以打乱轨迹顺序及指令配对检验收益是否确实依赖时间和语义对应。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将 Bradley-Terry 隐式偏好建模转化为统一多模态表征学习目标的机制,但机器人任务中的效果幅度、复现条件及向 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net