通过状态增广学习无限时域平均奖励约束马尔可夫决策过程

基于摘要分析。本文研究弱连通假设下的无限时域平均奖励约束马尔可夫决策过程（CMDPs），目标是在学习未知环境转移的同时控制遗憾与累计约束违反量。核心贡献是通过状态增广与奖励重塑，将约束处理嵌入可使用乐观规划方法的学习问题。 具体机制是把累计约束违反量加入状态，并利用 Huber 势函数的差分定义重塑奖励。增广状态决定进一步违反约束时的惩罚，而奖励函数在增广状态空间中保持固定。由于新增状态具有已知的确定性动态，算法只需估计原始转移核。Huber 势函数的有界斜率使单步奖励保持有界；势函数差分可望远镜求和，从而将重塑后的累计回报与原始累计奖励及终端势函数联系起来。作者据此结合有限时域近似与带裁剪的乐观价值迭代。 作者报告，在表格型、弱连通的无限时域平均奖励 CMDPs 设置下，该计算高效算法以高概率同时获得 Õ(√T) 的遗憾与累计约束违反界，其中 T 为交互次数；作者称其对 T 的依赖在对数因子之外最优，并将其定位为据其所知首次兼顾上述计算效率与界的算法。摘要未给出对状态、动作及其他问题参数的具体依赖，也未展开计算复杂度、约束可行性条件或实验结果；完整定理条件、实验协议、消融及统计信息尚未验证。 本文的主要对象是受约束强化学习理论，而非 EEG 解码或 BCI 算法。摘要未提供具体的神经信号任务对应关系或 BCI 验证，因此不能据此推断其在 EEG/BCI 场景中的有效性。