低秩马尔可夫决策过程中的可证明高效表示选择：从在线到离线强化学习

基于摘要分析。本文研究低秩马尔可夫决策过程（MDPs）中的表示选择问题，关注如何通过选择适合探索与利用的表示，提高强化学习（RL）的效率。作者提出 ReLEX，分别以 ReLEX-UCB 和 ReLEX-LCB 处理在线与离线 RL，并分析表示函数类的覆盖性质如何影响理论保证。 研究对象的关键结构是转移核可写成双线性形式。作者报告，在其理论设定下，在线算法 ReLEX-UCB 的表现不劣于不进行表示选择的先进算法；若表示函数类对整个状态—动作空间满足特定“覆盖”性质，则可获得更优的常数遗憾保证。这里的遗憾是 RL 理论指标，不是分类错误率；覆盖性质的形式化定义及保证所需的其他假设尚未验证。 对于离线算法 ReLEX-LCB，作者报告，在表示类能够覆盖状态—动作空间的条件下，算法可找到最优策略，并具有依赖 gap 的样本复杂度。作者将其称为离线 RL 表示学习中首个具有常数样本复杂度的结果；这一优先性声明及“常数”相对于哪些变量成立，仍需结合全文定理核对，不能理解为任意任务只需固定数量样本。 摘要未提供具体算法步骤、表示类构造、实验数据或数值结果，实验协议、消融及统计信息尚未验证。其主要贡献属于 RL 表示选择的理论分析，而非 EEG 解码或 BCI 验证；当前材料不足以建立具体迁移路径，因此不据此提出 EEG 复现实验。已有 EEG 相关工作尚未检索确认。