跳到正文
OpenReview · Representation learning· Vivienne Huiling Wang; Tinghuai Wang; Wenyan Yang; Joni-kristian Kamarainen; Joni Pajarinen·· 2023-09-22精选AI 评分74

用于分层强化学习的随机子目标表征

Stochastic Subgoal Representation for Hierarchical Reinforcement Learning

AI 导读

基于摘要分析。该研究面向目标条件分层强化学习(HRL)的长期决策问题,提出基于 Gaussian process(GP,高斯过程)的贝叶斯方法,学习随机子目标表征,以缓解确定性子目标表征可能带来的策略学习稳定性与效率问题。 核心机制是在潜在子目标空间上学习后验分布,用 GP 刻画所学表征中的随机不确定性,以支持探索。方法还引入自适应记忆,整合先前规划步骤中的长程子目标信息;作者认为,这有助于改善新状态区域中的表征,并提高对环境随机性的鲁棒性。摘要未说明 GP 的输入输出、核函数、后验近似、记忆更新规则,以及表征与高低层策略的联合训练方式,这些实现细节尚未验证。 作者报告,在包含确定性与随机性环境、稠密与稀疏外部奖励的实验中,该方法优于所比较的先进 HRL 方法,并展示了低层策略的跨任务迁移。摘要未给出环境名称、数据采集规模、对照方法、评价指标或数值,不能据此量化优势或判断不同设置下的一致性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若交互式 BCI 任务具有明确的状态、动作、奖励及可分解的长期目标,随机子目标与历史记忆可能用于处理高层规划的不确定性。可考虑复用子目标后验与记忆机制,但需改造神经信号状态编码和低层控制接口;EEG 低信噪比、跨被试或通道差异可能使表征不确定性与环境随机性混淆,小数据也可能限制后验估计。一个可证伪的小实验是在固定 EEG 状态编码器、相同交互预算与奖励协议下,对比确定性子目标、随机子目标及移除记忆的版本,观察任务回报和重复运行稳定性。该设想不构成已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以 GP 后验刻画子目标表征不确定性、并利用历史规划信息支持探索的机制,但性能优势及低层策略迁移的具体协议尚未验证。

来源:OpenReview · Representation learning · openreview.net