超越状态到达:为内在动机驱动的技能发现学习抽象
Going Beyond State-Reaching: Learning Abstractions for Intrinsically Motivated Skill Discovery
基于摘要分析。本文研究强化学习中通过选项(options)进行时间抽象时,如何避免子目标过度依赖完整状态而限制技能泛化;核心贡献是为每个子目标识别少量相关特征,以学习适用范围更广、可迁移的抽象选项。 作者指出,现有选项发现算法的状态到达(state-reaching)方式同时约束状态的各个方面,使选项仅能用于状态空间中的狭窄区域,进而导致选项数量膨胀并妨碍奖励最大化。所提算法转而围绕子目标选择相关特征,试图减少与当前技能无关的状态细节约束。摘要未披露特征选择准则、抽象表示形式、选项学习目标,以及内在动机信号的具体构造。 作者报告,该方法在三个稀疏奖励、基于图像的环境中实现快速探索,其中包括 Atari 游戏 MontezumasRevenge。摘要未给出其余环境名称、对照算法、训练预算、评价指标及数值,因此尚不能量化探索加速或泛化收益;实验协议、消融及统计信息尚未验证。 原论文的主要对象是强化学习中的技能发现,而非 EEG 解码或 BCI。摘要提供了子目标相关特征抽象这一机制,但未建立其与神经信号任务的具体对应关系,因此不据此提出 EEG 迁移实验。已有 EEG 相关工作尚未检索确认。复现前需进一步核对完整算法、环境配置、选项适用与终止条件,以及迁移评估设置。
值得关注其通过子目标相关特征抽象缓解选项数量膨胀的机制,但选项泛化与探索收益目前仅有摘要中的作者报告,尚不能据此推断 BCI 有效性。
来源:OpenReview · State space models · openreview.net