如何将逆强化学习扩展到大状态空间？一种可证明高效的方法

基于摘要分析。本文研究大状态空间中的在线逆强化学习（IRL）：学习者通过采集环境动力学样本，改进对解释示范行为的奖励函数的估计。针对奖励不可辨识及完整可行奖励集难以高效估计的问题，作者提出 rewards compatibility（奖励相容性）框架与 CATY-IRL 算法，并建立 IRL 与 Reward-Free Exploration（RFE，无奖励探索）的统一框架。 核心机制与理论贡献：可行奖励集包含所有能够解释示范的奖励函数。作者报告，即使环境满足 Linear Markov Decision Processes（Linear MDPs，线性马尔可夫决策过程）的结构假设，也不足以在大状态空间下高效估计该集合。因此，论文以推广可行集概念的奖励相容性重新表述问题，而非仅依靠线性结构扩展原有集合估计方法。摘要未给出相容性的形式化定义、线性特征的具体假设或算法采样流程。 作者报告，在 Linear MDPs 条件下，CATY-IRL 的样本复杂度不依赖状态空间基数；在表格型设定下，该算法达到忽略对数因子的 minimax 最优性。作为附带理论结果，作者还报告 RFE 具有相同的最坏情况速率，并改进了已有下界。这些结论均有特定问题设定，不能据此理解为算法复杂度与所有问题规模参数无关，或已获得实际任务中的性能优势。 阅读与复现需重点核对：奖励相容性与精确可行集估计之间的关系、环境采样访问条件、示范假设、复杂度对特征维度和精度等参数的依赖，以及上下界的适用范围。具体定理条件、实验协议、消融及统计信息尚未验证。本文主要研究对象是在线 IRL 的理论可扩展性，并非神经信号建模；摘要未提供与 EEG/BCI 的具体机制对应关系，相关工作亦尚未检索确认，因此不据此提出迁移效果或复现实验建议。