马尔可夫决策过程的层次表示学习

基于摘要分析。本文研究如何为马尔可夫决策过程（MDP）学习不依赖奖励的层次表示：将状态空间划分为若干子集，以分区之间的转移定义子任务，再由高层基于模型的规划选择下一步执行的子任务，目标是在同一领域内复用表示以解决不同任务。 核心机制是把状态空间划分表述为优化问题，并利用采样轨迹通过梯度下降求解。其数据依赖是环境交互轨迹，而非摘要中明确给出的特定任务奖励；但具体优化目标、轨迹采集策略、分区约束、子任务学习方式及规划模型的获得方式尚未验证。“不依赖奖励”不能直接等同于整个训练过程完全无监督。 作者报告，该方法能够在高维状态领域学习有用的层次表示，并将所学表示用于同一领域中的不同任务。摘要未提供环境名称、状态规模、对照基线、评价指标或数值，因此目前不能判断跨任务复用的收益幅度及其相对优势；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将该机制用于具有连续交互轨迹的 BCI 控制任务，可考虑复用“状态分区—转移子任务—高层规划”框架，以检验控制策略能否跨目标复用；这不是已验证的 EEG 表示学习结果。需要将含噪神经观测转为适合规划的状态，并核对其是否满足近似马尔可夫性。低信噪比、跨被试或跨会话漂移可能导致分区不稳定，小规模交互数据也可能不足以覆盖分区间转移。一个可证伪的小实验是在固定被试和信号处理流程下，用训练目标的轨迹学习层次表示，再在未参与表示学习的控制目标上，与不使用层次表示的策略比较任务成功率和所需交互量。已有 EEG 相关工作尚未检索确认。