低秩 MDP 中高效的无模型探索

基于摘要分析。本文研究高维强化学习中需要函数逼近与泛化的探索问题，提出用于低秩马尔可夫决策过程（Low-Rank MDPs）的无模型算法 SpanRL。作者报告，该算法在满足可达性条件时具有可证明的样本效率与计算效率，并允许一般函数逼近。 原问题的关键结构是：转移概率可基于未知特征嵌入进行低秩分解。摘要指出，既有算法或计算不可行，或依赖潜变量结构、基于模型的函数逼近等限制性条件。作者声称，SpanRL 是首个同时满足上述效率要求的无模型探索算法，其可达性条件也显著弱于既有工作；这些比较的适用范围与条件仍需通过全文核对。 核心机制是以特征嵌入的 barycentric spanner（重心生成集）作为可高效计算的探索基，并交替执行表示学习与策略优化子程序来构造该生成集。理论贡献包括一种容错的 barycentric spanner 计算方法，以及对既有 minimax 表示学习目标的新分析。摘要未给出具体目标函数、误差界、样本复杂度或计算复杂度，因此尚不能判断效率优势在何种规模与误差要求下成立；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 驱动的闭环 BCI 可表述为需要主动探索的序贯决策问题，且其转移结构近似低秩并满足可达性条件，SpanRL 的探索基构造机制可能具有参考价值，但原文并未提供 EEG/BCI 验证。可复用的候选部分是表示学习与策略优化交替构造探索基的机制；需改造状态表示、动作空间及安全探索约束。低信噪比、跨被试差异、通道变化和小数据可能破坏特征估计与可达性假设。一个可证伪的小实验是在固定 EEG 数据构建的受控闭环仿真中，与随机探索及预先指定的探索基线按相同交互预算比较，并改变噪声与转移秩，检验收益是否依赖假设成立。已有 EEG 相关工作尚未检索确认。