CMDPs 中可证明安全的表示学习：原始—对偶方法

基于摘要分析。本文研究未知动力学的低秩约束马尔可夫决策过程（CMDPs），目标是在满足安全约束的同时最大化奖励，核心贡献是将转移表示学习与受约束策略优化结合，并分别处理软、硬约束违反。 作者提出 REP-PD：通过最大似然估计（MLE）迭代学习低秩转移表示，再利用与无约束拉格朗日形式关联的复合 Q-function，引导策略更新，以协调奖励、探索与约束遵循。作者将其描述为首个在低秩 CMDPs 中可证明地整合表示学习与策略优化的算法；该优先性主张尚未独立核实。 理论结果方面，作者报告，在其低秩 CMDPs 设定及相关理论假设下，REP-PD 无需预先知道特征即可获得近最优策略，采样复杂度界不依赖状态空间维度；其 regret 与无约束低秩 MDPs 的下界匹配，并具有软约束违反保证。摘要未提供具体界、常数及成立条件，不能据此推断其在一般高维环境中的样本效率。针对摘要所述要求始终严格满足约束的更强硬约束违反指标，作者进一步提出 REP-PD-hard，通过新的策略优化模块给出有界违反保证；这一保证与“始终满足约束”之间的精确关系需查阅定义及定理。 主要研究对象是受约束强化学习，而非 EEG 表征或 BCI 解码。平台推测（待验证）：若某个 BCI 闭环决策任务能够明确建模为低秩 CMDP，并具备可观测奖励、约束成本及交互数据，该框架可能具有方法参考价值；但低秩动力学与安全探索条件是否成立仍是前提，不能将原论文理论保证直接视为 BCI 安全性证据。已有 EEG 相关工作尚未检索确认。具体理论假设、软硬约束定义、策略优化细节，以及实验协议、消融及统计信息尚未验证。