用于在线目标条件强化学习的方向条件策略

基于摘要分析。本文研究在线目标条件强化学习中，策略如何利用 Contrastive Reinforcement Learning（CRL）的 critic 所学习的目标可达性表征。作者提出 Direction-Conditioned Policies（DCP），将策略的条件输入从原始目标改为表征空间中的方向和距离，使策略能够直接利用 critic 编码的几何信息。 核心机制是在在线训练期间，从此前访问过的状态中选择航点，并以航点在表征空间中的方向和距离作为策略条件；部署时则通过相同接口直接输入最终目标，不再需要选择航点或执行规划。摘要将其描述为对 CRL 的小幅修改，但表征构造、方向与距离的具体计算、损失函数及训练配置尚未验证。 作者报告，在九项导航与操控任务中，DCP 在其中七项任务上的最终成功率高于 CRL，并在其中七项任务中有更多时间停留于目标附近；摘要未提供具体数值、任务名称及评估协议，不能据此量化优势幅度。在受控迷宫实验中，作者报告 DCP 更准确地捕捉最短路径几何，且输入的方向对 actor 行为具有因果影响；相关干预设计、对照及统计信息仍需全文核对。 作者将航点覆盖与排序识别为探索的限制因素，并报告学习式候选生成在两个受控迷宫中改善了目标到达表现。复现时需核对航点选择与排序、候选生成的训练方式、成功与目标附近停留的定义，以及随机种子和计算预算等条件。本文主要研究导航与操控，并未提供 EEG/BCI 实验；现有材料不足以建立具体迁移路径，不将其改写为已验证的 BCI 方法。