跳到正文
OpenReview · Representation learning· William Agnew; Pedro Domingos·· 2020-12-31精选AI 评分74

自监督对象级深度强化学习

Self-Supervised Object-Level Deep Reinforcement Learning

AI 导读

基于摘要分析。本文研究如何利用对象先验提高深度强化学习的计算效率与样本效率,提出通过对象动态和行为推理,快速确定最小化、任务特定的对象表示。主要研究对象是视觉环境中的对象表示与强化学习,而非 EEG 或 BCI。 核心思路是将对象的动态与交互作为识别对象的重要线索,而不只依赖视觉一致性等静态属性。作者认为,面向任务的对象表示应结合对象如何运动、相互作用及影响任务行为来确定。摘要未披露具体表示结构、自监督目标、对象发现流程,以及表示学习与策略学习如何衔接,相关实现尚未验证。 作者引入一组基于 RGBD MuJoCo 的对象收集与避让任务,并报告这些任务虽然视觉上简单、直观,却会使现有先进无监督对象表示学习算法难以处理。作者还报告,在若干 Atari 游戏中,将所提对象表示与标准强化学习及规划算法结合,能够比已有深度强化学习算法更快学习。摘要未提供具体游戏、对照方法、训练预算、速度指标或数值,因此尚不能量化效率收益,也不能区分收益来自表示、规划还是其他训练设置。 阅读全文时需核对对象动态先验如何落地、任务特定表示的确定方式,以及计算效率与样本效率是否分别评估;实验协议、消融及统计信息尚未验证。该机制依赖视觉对象及其动态结构,材料未建立其与 EEG 信号结构的具体对应关系,因此不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其利用对象动态与交互构建任务特定表示的思路,以及用于检验静态视觉对象先验局限的任务设计;作者报告的学习速度优势仍需结合完整评估协议核对。

来源:OpenReview · Representation learning · openreview.net