逆强化学习如何扩展至大状态空间？一种具有可证明效率的方法

基于摘要分析。本文研究在线 Inverse Reinforcement Learning（IRL，逆强化学习）在大状态空间中的可扩展性：学习者通过采集环境动力学样本改进奖励函数估计。针对奖励不可辨识、需考虑能够解释示范的多个奖励函数这一问题，作者提出 rewards compatibility（奖励兼容性）框架及 CATY-IRL 算法。 理论问题与机制：既有理论工作常以估计完整 feasible reward set（可行奖励集合）为目标。作者报告，即使采用 Linear Markov Decision Processes（Linear MDPs，线性马尔可夫决策过程），其结构也不足以保证在大状态空间中高效估计该集合。因此，本文并非仅加速原有估计目标，而是引入推广可行集合概念的奖励兼容性框架。摘要未给出兼容性的形式定义，以及它与完整集合估计之间的精度或信息保留关系。 作者报告，在 Linear MDPs 设定下，CATY-IRL 具有样本效率保证，其复杂度不依赖状态空间大小；在表格型设定下，该算法达到相差至多对数因子的 minimax 最优性。作者还报告，Reward-Free Exploration（RFE，无奖励探索）具有相同的最坏情形速率，并改进了既有下界，同时提出统一 IRL 与 RFE 的框架。这些是摘要所述理论结论，不等同于实际运行时间或经验性能优势。 验证边界：特征表示、环境访问方式、专家示范要求、误差定义，以及复杂度对其他问题参数的依赖尚未验证；实验协议、消融及统计信息亦尚未验证。本文主要对象是强化学习理论，并非 EEG 解码或 BCI；材料未提供神经信号应用证据，尚未检索确认已有 EEG 相关工作，不据此推断 BCI 有效性。