状态重访与再探索：利用不完美模拟器的离线与在线强化学习弥合仿真到现实差距

基于摘要分析。本文研究机器人技能学习中，有限离线数据与不完美模拟器如何协同支持可迁移策略学习，提出 State Revisit and Re-exploration（SR2）离线与在线强化学习框架。核心贡献是利用离线轨迹中的高质量状态引导在线探索，旨在缓解模拟器中无约束探索造成的样本效率低和状态—动作空间覆盖不足。 机制上，SR2 包含 meta-policy 与 sub-policy：前者在离线轨迹中寻找适合在线探索的高质量状态，后者使用离线与在线混合数据学习机器人技能。其方法重点是组织探索的起点与范围，而非仅依赖提高模拟器保真度。高质量状态的定义、状态重访的实现方式、两类策略的训练目标与更新关系，以及离线和在线数据的混合规则尚未验证。 作者报告，在一组仿真到现实机器人任务中，状态重访与再探索机制提升了性能，并在仿真及真实环境任务上优于所比较的先进方法。摘要未提供具体任务名称、数据规模、评价指标、数值或基线配置；实验协议、消融及统计信息尚未验证，因而无法判断收益主要来自探索效率、覆盖改善还是其他训练因素。 平台推测（待验证）：若用于具有交互式控制目标、历史交互轨迹及可重置模拟环境的 BCI 强化学习系统，可考虑复用“历史状态筛选—定向探索—混合数据学习”的组织方式，而非将其直接视为 EEG 解码方法。需改造的是状态表征、模拟器动力学及状态重访机制；EEG 低信噪比、跨被试差异和小数据可能使高质量状态筛选不稳定，真实用户的隐含状态也未必能被重置。一个可检验的小实验是在固定离线数据和在线交互预算下，对比定向重访与无约束探索，并考察收益是否随模拟器失配程度增加而消失。已有 EEG 相关工作尚未检索确认，原文机器人结果不构成 BCI 有效性的证据。