通过后继状态表示学习多样化技能以促进探索
Exploration by Learning Diverse Skills through Successor State Representations
基于摘要分析。本文研究强化学习中的无奖励技能发现与探索,目标是学习一组能够均匀覆盖状态空间的多样化技能。作者提出 LEADS(Learning Diverse Skills through Successor State Representations),利用后继状态表示区分不同技能条件策略所到达的状态分布,从而促进状态空间覆盖。 方法建立在状态与技能之间互信息的既有定义之上,将技能多样性刻画为技能条件状态分布之间的差异,并借助 successor state representation 最大化这种差异。摘要未给出具体分布差异度量、目标函数、表示估计方式与训练流程,不能据此判断其与既有互信息技能发现方法的完整关系。 作者报告,在一组迷宫导航与机器人控制任务中,该方法能够在不依赖奖励或探索奖励的条件下构造多样化技能,并实现对状态空间的充分覆盖。摘要末句又将更稳健、高效的探索归因于互信息最大化与探索奖励的结合;这两种表述是否对应不同实验条件,尚需正文核对。任务名称、对照基线、覆盖率定义、实验协议、消融及统计信息尚未验证。 本文的主要对象是强化学习智能体的探索,而非 EEG 表征学习或 BCI 解码。平台推测(待验证):若用于具有明确状态、动作及连续交互反馈的 BCI 辅助控制环境,技能条件状态访问分布可能为探索覆盖提供一种设计思路;这不意味着 LEADS 已对 EEG 有效。迁移需核对原方法对状态可观测性、轨迹规模和环境交互的依赖,并改造状态估计与安全探索约束。EEG 低信噪比、跨被试差异及有限交互数据可能使访问分布估计失真。当前材料不足以提出具体复现方案,相关 EEG 工作尚未检索确认。
值得核对 LEADS 如何以 successor state representation 区分技能对应的状态访问分布,以及摘要中“不依赖探索奖励”与“结合探索奖励”两种表述的具体适用条件;其对 EEG/BCI 的价值尚未验证。
来源:OpenReview · State space models · openreview.net