平均奖励马尔可夫决策过程中的更紧致无模型强化学习界

基于摘要分析。本文研究无限时域平均奖励 Markov Decision Processes（MDPs）的无模型强化学习，分别面向在线交互和可访问模拟器的场景，提出具有理论效率保证的算法。 在线场景中，算法采用 reference-advantage decomposition。作者报告，在弱连通 MDP 条件下，经过 T 步交互的遗憾上界为 Õ(S⁵A²sp(h*)√T)，其中 S、A 分别为状态数和动作数，sp(h*) 为最优偏置函数的跨度。作者称这是首次在弱连通 MDP 中达到关于 T 的最优依赖；这一结论针对时间步数的依赖，并不意味着状态数、动作数等因素也达到最优。 在可访问模拟器的场景中，作者报告，寻找 ε-最优策略所需样本数为 Õ(SA·sp²(h*)/ε² + S²A·sp(h*)/ε)，并给出用于对照的 minimax 下界 Ω(SA·sp(h*)/ε²)。两者在偏置跨度及附加项上仍存在差距，不能将该结果概括为整体达到 minimax 最优。 摘要列出两项针对平均奖励问题的技术：通过价值差估计改善折扣近似，以及以 O(SA) 空间复杂度高效构造最优偏置函数的置信域。全文未取得，具体更新规则、理论假设、概率保证、隐藏因子及实验协议、消融与统计信息尚未验证。 研究对象是一般 MDP 的强化学习理论，而非 EEG 解码或 BCI 验证。摘要没有提供神经信号数据、被试评估或闭环 BCI 结果，不能据此推断 BCI 性能提升；相关 EEG/BCI 工作尚未检索确认。