通过前像状态分布匹配（PIM）实现深度探索

基于摘要分析。本文研究无环境奖励、示范、课程或先验知识条件下，强化学习如何探索并解决长时程目标到达任务，提出前像状态分布匹配（PIM），利用从零训练的生成模型预测可能先于目标状态出现的状态，以驱动探索。 核心机制是生成模型与策略之间的数据反馈闭环：生成模型仅使用策略在线收集的数据训练；即使目标尚未到达，也尝试预测其前驱状态。策略随后尝试访问这些预测状态，失败过程中产生的新数据用于修正模型预测。作者将这一过程类比为向图像生成模型提供未见过的提示，并强调生成模型的泛化能力可以成为探索动力。摘要未给出状态分布匹配的具体目标函数、生成模型结构、策略更新方式或前驱状态的时间跨度，这些实现细节尚未验证。 作者报告，在机器人操作、构造和导航等多个长时程任务中，该方法优于多种基线；模拟机器人能够学习构造复杂的8立方体配置，作者称此前基于内在动机或子目标选择的方法未能解决该任务。在 AllegroHand 灵巧抓取与投掷任务中，作者报告表现最好的基线即使使用2倍交互量，也未获得可靠成功。摘要未提供成功率、重复试验次数或完整基线配置，因此这些结果尚不能用于量化优势大小；实验协议、消融及统计信息尚未验证。 论文主要对象是机器人强化学习探索，而非 EEG 解码或 BCI。现有材料未建立目标前驱状态生成与具体神经信号任务之间的对应关系，不据此推断 BCI 有效性；相关 EEG 工作尚未检索确认。