非平稳低秩 MDPs 的可证明高效算法

基于摘要分析。本文研究转移核与奖励均可随时间变化的回合式低秩 Markov Decision Processes（MDPs），提出 PORTAL 及其自适应版本 Ada-PORTAL，为未知表征条件下的非平稳强化学习提供样本效率理论保证。 原问题与机制：既有相关理论主要针对表格型和线性（混合）MDPs，本文则考虑除线性状态嵌入函数外还包含未知表征的低秩模型。PORTAL 是依赖参数设定的策略优化算法；Ada-PORTAL 被作者称为其 parameter-free 版本，可在不预先知道非平稳程度的情况下自适应调节超参数，不能据此理解为算法完全没有超参数。 理论结果：作者报告，为两种算法给出了平均动态次优差距的上界；在非平稳程度并非过大的条件下，两者可凭借多项式样本复杂度将该差距降至任意小。摘要未给出非平稳程度的定义、上界具体形式、表征学习所需监督或交互数据条件，也未说明实验结果；证明假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将自适应 BCI 解码建模为带反馈奖励的序贯决策，环境变化与未知表征问题可能对应 EEG 分布漂移和状态表征学习。但普通 EEG 分类并不自动满足这一 MDP 建模。可考虑复用非平稳程度未知时的策略调节思路，状态、动作、奖励及交互采样机制均需重新定义；低信噪比、通道变化、小数据和被试差异也可能破坏低秩及可学习性假设。小规模检验可先在具有可控漂移和反馈奖励的 EEG 序贯决策模拟环境中，对比自适应调节与固定参数策略，检验漂移增强时的累计奖励和适应代价。该检验属于迁移假设，并非论文已验证的 BCI 结果；已有 EEG 相关工作尚未检索确认。