通过基于集合的可达性分析实现层次强化学习中的目标空间抽象

基于摘要分析。该研究针对层次强化学习（HRL）中符号目标表示依赖人工设计的问题，提出一种自主发现目标的机制：将任务中作用相似的环境状态聚合为抽象目标，并在学习目标表示的同时学习层次策略。 方法采用 Feudal HRL 框架，利用神经网络的符号可达性分析，近似状态集合之间的转移关系，再据此细化目标表示。关键思路不是仅按状态表面相似性分组，而是让抽象保留环境动力学相关信息，使目标表示能够支持层次决策。具体神经网络结构、可达集合的计算方式、表示细化准则以及策略训练目标尚未验证。 作者报告，在复杂导航任务中，学得的表示具有可解释性和可迁移性，并能提高学习的数据效率。摘要未给出具体环境、训练与迁移划分、对照基线或量化结果，因此不能判断收益大小或适用范围；实验协议、消融及统计信息尚未验证。复现时需核对可达性近似的误差与计算成本，以及目标表示和策略联合更新的具体流程。 该工作的主要研究对象是导航中的目标空间抽象，并非 EEG 表征或 BCI 控制。摘要未提供其状态集合及动力学假设与神经信号任务之间的具体对应关系，因此不据此推断 BCI 有效性，也不提出 EEG 迁移实验；已有 EEG 相关工作尚未检索确认。