平均奖励 MDP 的渐近最优无模型强化学习

基于摘要分析。本文研究有限弱连通 Markov 决策过程（MDP）中的平均奖励强化学习，目标是在 Õ(SA) 工作空间约束下，利用生成式采样模型获得近似最优策略。核心贡献是将基于粗略参考偏置函数的奖励塑形，与空间高效的线性规划及随机方形网格解码器结合，在高精度极限下达到基于偏置跨度的统计下界，允许相差对数因子。 这里 S、A 分别为状态数和动作数，H=max{1, span(h*)}，h* 为最优偏置函数。生成式采样模型指 MDP 的采样访问条件，不应理解为生成式神经网络。摘要称，基础算法不需要预先知道 H 的上界，并且几乎必然终止。奖励塑形用于降低规划问题的价值尺度；随机方形网格解码器则按需重建转移概率，以配合工作空间限制。其具体编码方式、误差控制与规划流程尚未验证。 作者报告：在上述访问条件和空间约束下，算法以高概率返回从每个初始状态出发均为 ε-最优的平稳确定性策略，所需样本数为 Õ(SAH/ε² + S^(14/3)A^(4/3)H^(4/3)/ε^(4/3))。当 S、A、H 固定且 ε→0 时，该上界与基于偏置跨度的统计下界相匹配，仅相差对数因子；这并不意味着所有有限精度设置下都已达到最优。 摘要未提供运行时间、实证基线或具体任务结果，实验协议、消融及统计信息尚未验证。本文主要贡献是通用强化学习的理论与空间效率机制，而非神经信号解码。BCI 在线交互是否满足有限弱连通状态结构及生成式采样访问条件，需要独立评估；已有 EEG 相关工作尚未检索确认，当前材料不足以支持具体迁移效果或复现实验建议。