跳到正文
OpenReview · State space models· Hedwin BONNAVAUD; Alexandre Albore; Emmanuel Rachelson·· 2023-06-09精选AI 评分72

在平移不变的目标导向强化学习任务中将状态可达性学习为图

Learning State Reachability as a Graph in Translation Invariant Goal-based Reinforcement Learning Tasks

AI 导读

基于摘要分析。本文研究目标导向强化学习中长动作序列与复杂环境下的目标到达问题,提出将抽象目标之间的可达性编码为图,并在目标空间中规划,以复用已学到的局部控制技能完成全局导航。 核心机制是将全局规划与局部执行结合:图描述抽象目标之间的可达关系,目标间转移由学习得到的策略执行。作者将该策略的一项性质称为 translation invariant local optimality(平移不变局部最优性),用于表达目标到达技能能够在状态空间不同位置复用的直觉。摘要尚未说明抽象目标的构造方式、可达性判定与图更新规则,也未给出该性质的形式化定义、训练损失或规划算法细节。 作者报告,该方法能够解决大型、困难的导航任务,并优于文献中的相关方法;摘要未提供环境名称、对照方法、评价指标、数值或数据划分,因此不能据此量化优势或判断适用范围。实验协议、消融及统计信息尚未验证,复现还需核对策略训练方式、图构建成本及局部执行失败时的处理机制。 平台推测(待验证):若用于 BCI 控制的导航任务,其潜在对应是把局部控制技能组合为长程目标规划,而不是直接改进 EEG 解码。可复用部分是可达性图与目标空间规划;需改造局部策略接口,使其适应解码指令的不确定性及随被试、会话变化的控制误差。该迁移依赖可定义的目标状态、可学习的局部转移,以及足够的交互数据;障碍布局或控制误差不具平移不变性时,技能复用可能失效。一个可检验的小实验是在同一模拟导航环境与交互预算下,对比加入可达性图规划前后的目标到达成功率,并逐步增加指令噪声,检验规划收益是否仍成立。已有 EEG/BCI 相关工作尚未检索确认。

阅读价值

值得阅读其以可达性图连接局部目标到达策略与全局规划的机制,尤其是技能复用所依赖的平移不变局部最优性假设;具体性能与适用边界尚未验证。

来源:OpenReview · State space models · openreview.net