从混合未来到闭环循环：离线目标条件强化学习中的预测与策略提取

基于摘要分析。本文研究离线目标条件强化学习中的预测—执行错配：从记录轨迹学得的动作评价，未必能描述新策略自主选取动作后的实际结果。研究以受控迷宫中的对比强化学习为对象，强调评价 critic 的预测与评价使用该 critic 的闭环策略是两项不同要求。 核心机制是，某个动作可能因记录中的后续轨迹最终到达目标而获得有利评价，但策略若反复选择评分最高的动作，其实际形成的后续轨迹可能陷入循环。作者报告，改变同一批数据的采样方式可以消除循环，表明数据如何组合进入训练可能影响策略提取结果；摘要未提供采样方案及其适用条件。 作者报告，训练一个负责选择动作的策略，可以在直接依据其 critic 分数选取动作失败的情形下实现成功行为，但单独使用行为克隆也达到相同成功率。因此，不能仅据该结果将成功归因于优于行为克隆的策略学习能力。作者还报告，在部分观测条件下，精确 Bellman 计算也可能出现循环，提示问题不宜仅归结为近似 critic 的预测误差。 摘要未提供迷宫配置、观测定义、数据生成与划分、成功率数值及循环判定标准；实验协议、消融及统计信息尚未验证。本文未提供 EEG 或 BCI 实验。平台推测（待验证）：其对预测质量与闭环执行效果的区分，可作为审视离线交互控制研究的评估视角，但不能据此推断具体 BCI 系统的有效性；已有 EEG 相关工作尚未检索确认。