跳到正文
OpenReview · Representation learning· Jianxiong Li; Jinliang Zheng; Yinan Zheng; Liyuan Mao; Xiao Hu; Sijie Cheng; Haoyi Niu; Jihao Liu; Yu Liu; Jingjing Liu; Ya-Qin Zhang; Xianyuan Zhan·· 2024-01-01精选AI 评分77

DecisionNCE:通过隐式偏好学习构建具身多模态表征

DecisionNCE: Embodied Multimodal Representations via Implicit Preference Learning

AI 导读

基于摘要分析。本文研究自主机器人的具身多模态表征学习,提出 DecisionNCE,旨在以统一目标从图像序列中提取局部与全局任务进展、保持视觉表征的时间一致性,并实现轨迹级语言指令对齐,而非分别优化这些目标。 核心机制是利用轨迹与指令之间的隐式偏好:一条视觉轨迹应比不匹配的轨迹—指令组合更符合其对应指令。作者通过适当的奖励重参数化,将 Bradley-Terry 偏好模型转化为表征学习框架,得到类似 InfoNCE、但面向决策任务的目标。摘要称,该框架借助隐式时间对比学习约束时间一致性,并通过多模态联合编码实现轨迹级指令对齐;具体损失形式、采样策略与编码结构尚未验证。 作者报告,在模拟机器人和真实机器人的评估中,DecisionNCE 能支持多种下游策略学习任务,并用于统一表征与奖励学习。摘要未提供任务名称、数据规模、划分、基线或定量指标,因此尚不能判断收益大小及适用边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 研究具备连续信号、同步行为轨迹和任务指令,可假设借用其“匹配轨迹优于不匹配轨迹”的监督关系,探索任务进展表征。可复用的是偏好式对齐目标,需改造的是 EEG 编码、时间分段与跨模态同步;其监督依赖配对轨迹和指令,所需数据规模尚不明确。低信噪比、跨被试差异、通道配置变化及小数据可能使匹配关系由伪相关主导。一个可证伪的小实验是在同一配对数据与固定编码器下,对照普通跨模态对比目标和该偏好式目标,按被试隔离评估任务进展预测,并打乱指令检查收益是否依赖真实语义对应。以上不属于原论文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其如何通过 Bradley-Terry 偏好模型的奖励重参数化,将任务进展、时间一致性与语言对齐统一到表征学习目标中;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net