跳到正文
OpenReview · Representation learning· Thomas Tian; Chenfeng Xu; Masayoshi Tomizuka; Jitendra Malik; Andrea Bajcsy·· 2024-01-16精选AI 评分75

什么对你重要?面向机器人学习的视觉表征对齐

What Matters to You? Towards Visual Representation Alignment for Robot Learning

AI 导读

基于摘要分析。本文研究机器人如何从原始视觉输入中学习符合终端用户偏好的奖励,提出 Representation-Aligned Preference-based Learning(RAPL),利用人类反馈对齐视觉表征,并结合偏好学习与最优传输处理视觉表征对齐和视觉奖励学习问题。 作者指出,预训练视觉模型通常通过动力学预测、时间循环一致性等代理任务进行微调,但这些目标不直接包含用户对任务相关因素的判断,可能强化伪相关,使机器人行为偏离用户偏好。RAPL 的核心思路是将人类偏好引入表征学习,区分对任务真正重要的视觉因素;摘要未披露偏好标注形式、最优传输的具体作用、损失函数及训练流程。 在 X MAGICAL 和机器人操作实验中,作者报告,RAPL 学得的奖励能够以较高样本效率产生用户更偏好的机器人行为;当视觉表征由不同于目标机器人的具身形态学习得到时,作者报告其具有较强的零样本泛化能力。摘要未给出评价指标、偏好反馈数量、对照基线或数值结果,实验协议、消融及统计信息尚未验证。 本文主要对象是机器人视觉奖励学习,并非 EEG 解码或 BCI 控制。平台推测(待验证):其偏好驱动的表征对齐思路可能适用于具有视觉状态输入和用户反馈的辅助机器人 BCI,将任务相关视觉表征与用户目标对齐;可复用的候选模块是偏好监督与奖励学习接口,而 EEG 意图估计、反馈可靠性及在线控制流程需另行设计。低信噪比 EEG、跨被试差异和少量偏好反馈可能使意图噪声被误当作稳定偏好。一个可证伪的小实验是在固定视觉状态、EEG 意图解码器及偏好反馈预算下,对比冻结视觉表征与偏好对齐表征的用户偏好一致性,并按被试独立评估。原领域结果不构成 BCI 有效性的证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过人类偏好反馈联合处理视觉表征对齐与奖励学习的机制,以及跨具身形态零样本泛化的验证,但具体收益与适用条件仍需核对全文。

来源:OpenReview · Representation learning · openreview.net