一般状态空间平均奖励 Markov 决策过程的策略迭代算法

基于摘要分析。本文研究一般状态空间、无界成本的 Markov 决策过程中的平均成本最优控制，核心贡献是建立策略迭代所生成策略的正则性、相对价值函数序列的收敛性质，以及在进一步条件下获得最优平均成本策略的理论保证。原标题采用 average reward，摘要则以 average cost 表述问题，具体符号约定尚未验证。 核心机制与条件：作者报告，只要存在一个初始 c-regular 策略，并满足状态空间上的不可约性条件，策略迭代便生成一系列 c-regular 策略，其中 c 为所考虑的成本函数。在这些条件下，算法生成的相对价值函数序列具有下界且“近乎”递减，作者据此得到算法收敛结论。c-regular 的严格定义、“近乎”递减的数学含义与收敛方式需查阅全文，不能仅凭摘要将其等同于逐点单调下降。 最优性与应用：算法收敛不应直接等同于得到最优策略。作者报告，在进一步条件下，算法能够求得最优性方程的解，从而得到最优平均成本策略；摘要未列明这些附加条件。作者还报告，这些结果提供了无界成本问题中最优策略存在性的判据，并恢复标准 linear-quadratic-Gaussian 问题的已知结果。在多类别排队网络控制中，作者指出网络优化与更简单的流体网络模型最优控制存在密切联系，具体对应关系尚未验证。 证据范围：这是最优控制理论研究，不是神经信号建模或 BCI 验证。摘要未提供 EEG/BCI 任务或足以支持具体迁移方案的机制对应，因此不据此提出 BCI 复现实验；已有 EEG 相关工作尚未检索确认。阅读全文时应重点核对正则性与不可约性假设、策略评价和改进步骤、最优性所需的附加条件及流体模型对应关系。实验协议、消融及统计信息尚未验证。