无界状态空间下的稳定强化学习

基于摘要分析。本文研究由排队网络调度问题引出的无界状态空间强化学习（RL），主要贡献是将稳定性作为策略质量的评价概念：策略作用下的状态动态应以高概率保持在有界区域内，而非直接沿用有限或紧致状态空间中的误差指标。 作者指出，传统策略及 ℓ∞ 等误差度量在无界状态空间中可能需要无限样本才能提供有意义的性能保证。作为概念验证，作者提出使用 Sparse-Sampling-based Monte Carlo Oracle 的 RL 策略，并论证：若最优策略下的系统动态满足 Lyapunov 函数条件，该策略可满足稳定性要求。作者强调，策略无需知道具体的 Lyapunov 函数，并将该函数的存在与 Markov 链的正常返或稳定性联系起来；这些条件的精确定义和适用范围需核对全文。 为提高样本效率，作者进一步提出利用 Lipschitz 价值函数的改进型 Sparse-Sampling-based Monte Carlo Oracle，并通过统计检验构造自适应算法，自动寻找合适的调节参数。摘要未提供数值实验结果、采样复杂度表达式或具体对照；理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能适用于具有明确状态转移模型和稳定性目标的 BCI 闭环控制，而不是直接解决 EEG 解码。可复用部分是采样规划与自适应参数选择，需改造的是神经状态定义、模拟采样接口及稳定性判据。假设低信噪比 EEG 能提供足够可靠的状态估计，可先在含观测噪声的低维闭环仿真中，对照固定参数版本，检验状态越界频率与采样开销；跨被试差异及小数据可能使状态模型和 Lipschitz 假设失效。已有 EEG 相关工作尚未检索确认。