跳到正文
OpenReview · Representation learning· Markus Wulfmeier; Arunkumar Byravan; Tim Hertweck; Irina Higgins; Ankush Gupta; Tejas Kulkarni; Malcolm Reynolds; Denis Teplyashin; Roland Hafner; Thomas Lampe; Martin A. Riedmiller·· 2021-01-01精选AI 评分75

表征的重要性:改进机器人感知与探索

Representation Matters: Improving Perception and Exploration for Robotics

AI 导读

基于摘要分析。本文研究机器人强化学习中什么样的表征有助于控制与探索,系统比较学习得到的表征和人工设计的表征,并区分其作为智能体输入与作为辅助任务来源的不同作用,而非预设存在一种普遍最优的表征。 研究对象为三维方块的抬起、堆叠和推动任务,分析维度、可观测性及解耦性三项表征属性。作者报告,在上述机器人任务的两类用途中,合适的表征均能改善表现;作为智能体输入时,部分表征可达到与模拟器状态相当的表现。摘要未提供具体指标、提升幅度或逐任务结果,不能据此量化优势。 作者报告,表征维度对任务生成影响较大,但对输入用途影响可忽略;任务相关信息的可观测性主要影响输入用途;解耦性有助于形成更好的辅助任务,但对输入表征的收益有限。其主要启示是表征质量应结合下游用途评价,不能直接将更低维或更解耦视为普遍优势。具体表征构造、训练目标、辅助任务生成机制、交互预算、对照配置、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,在 EEG 驱动的交互控制中,策略输入表征与辅助任务生成表征也可能需要不同评价标准。可复用的是按用途分开评估的框架,而非未经核实的具体算法;原研究依赖机器人环境观测与强化学习交互,迁移时需改造 EEG 编码和辅助任务定义。低信噪比、通道差异、跨被试变化及小数据可能使表征优先保留伪迹而非控制相关信息。一个可证伪的小实验是在固定被试内划分、编码器和交互预算下,分别改变表征维度,比较其用于策略输入与辅助任务来源时的控制表现,检验两种用途的维度敏感性是否不同。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将表征作为策略输入与辅助任务来源分开评估,作者报告两种用途对维度、可观测性和解耦性的需求不同,可为检查表征学习的评价目标提供具体依据,但其 EEG/BCI 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net