跳到正文
OpenReview · Representation learning· Rudra P. K. Poudel; Harit Pandya; Stephan Liwicki; Roberto Cipolla·· 2023-01-01精选AI 评分73

ReCoRe:世界模型的正则化对比表征学习

ReCoRe: Regularized Contrastive Representation Learning of World Model

AI 导读

基于摘要分析。ReCoRe 研究视觉导航强化学习在外观显著变化时样本效率低、易过拟合训练场景的问题,将世界模型、无监督对比学习与干预不变正则项结合,以学习更有利于泛化的表征。 其核心思路是通过显式建模环境动力学提高样本效率,利用对比学习促进不变特征学习。作者指出,由于世界模型强化学习中的表征学习与智能体策略分别优化,直接加入对比损失仍不充分;因此引入辅助任务形式的干预不变正则项,以显式约束表征对风格干预保持不变。摘要列举了深度预测、图像去噪和图像分割等辅助任务,但其具体选用方式、监督来源及损失组合尚未验证。 作者报告,在 iGibson benchmark 的分布外点目标导航评估中,该方法优于所比较的基于模型及无模型强化学习方法;在仅使用视觉观测的设置下,优于所比较的近期语言引导基础模型。作者还报告,其感知模块在 Gibson benchmark 的仿真到现实迁移中表现良好。摘要未给出具体指标、数值、数据划分及计算开销,实验协议、消融及统计信息尚未验证,因此不能据此量化性能优势或确认资源受限部署收益。 平台推测(待验证):可迁移的假设是,若 EEG 中存在可与任务信息分离的会话或采集条件变化,则可借鉴“不变表征+辅助任务”的约束思路,缓解跨会话泛化问题;原论文的视觉环境动力学、风格干预和图像辅助监督不能直接等同于 EEG。需改造时序编码、干预定义及辅助目标,且低信噪比、通道差异和小数据可能使约束误删任务信息。可在固定跨会话划分下,对照相同编码器的对比学习与加入辅助正则的版本,检验收益是否稳定。该假设不构成已证实的 EEG/BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其通过辅助任务约束世界模型表征对外观干预保持不变的机制,以及该机制在分布外导航中的贡献;其对 EEG 的迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net