逆强化学习如何扩展至大状态空间？一种具有可证明效率的方法

基于摘要分析。本文研究大状态空间中的在线逆强化学习（IRL）：学习者通过采集环境动力学样本，改善对示范背后奖励函数的估计。针对奖励不可辨识性与可行奖励集合估计的可扩展性问题，作者提出 rewards compatibility 框架及算法 CATY-IRL。 传统理论路线估计能够解释示范的全部奖励，即可行奖励集合（feasible reward set），而非恢复唯一奖励函数。作者报告，即使环境满足 Linear Markov Decision Processes（Linear MDPs）的结构，仍不足以在大状态空间下高效估计该集合。本文因此将学习目标推广为 rewards compatibility；其精确定义、与原可行集合的关系及误差度量需查阅全文。 作者报告，CATY-IRL 在 Linear MDPs 中具有样本效率，且复杂度不依赖状态空间大小；在表格型设定下，该算法达到忽略对数因子的 minimax 最优性。这并不意味着复杂度不依赖其他问题参数，具体依赖及成立条件尚未验证。作者还报告，Reward-Free Exploration（RFE）具有相同的最坏情况速率，并改进既有下界，同时提出统一 IRL 与 RFE 的框架。 摘要提供的贡献主要是理论框架与复杂度结论，未提供可核对的实验指标。示范数据与环境交互的访问条件、Linear MDPs 的特征假设、算法实现、证明细节以及实验协议、消融及统计信息尚未验证。本文研究对象是通用决策过程中的奖励推断，不是 EEG 状态空间建模；现有材料不足以建立其与 BCI 的具体机制对应，因此不推断其具有已验证的 EEG/BCI 效果。