具有生成模型的线性参数化 MDP 的样本高效强化学习

基于摘要分析。本文研究强化学习中大型状态—动作空间导致的采样成本问题，针对转移概率核可由状态—动作特征线性表达或近似的 MDP，分析基于模型的方法与 Q-learning 的样本复杂度。核心贡献是将复杂度的主要规模依赖转向特征维度 K，而非表格型方法中的状态数与动作数之积。 作者报告：在可从生成模型采样、具有所述线性转移结构的折扣 MDP 中，忽略对数因子后，基于模型的方法以高概率学习 ε-最优策略所需样本量阶为 K/((1−γ)³ε²)；Q-learning 以高概率学习 ε-最优 Q-function 所需样本量阶为 K/((1−γ)⁴ε²)。其中 γ∈(0,1) 为折扣因子。作者报告两项界均为紧界，且基于模型的方法达到 minimax 下界。这些是特定理论条件下的保证，不是 EEG 数据上的性能结果。 摘要未提供特征构造、生成模型的具体采样接口、线性近似误差如何影响保证，以及算法实现与实验设置；这些条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若闭环 BCI 控制任务能够构建低维状态—动作特征，并有支持相应采样的可信模拟器，该分析可能帮助评估策略学习的采样成本。可复用的是线性转移建模与复杂度分析思路，需改造的是神经状态表征、动作定义及模拟器；低信噪比、跨被试漂移和有限校准数据可能破坏线性与稳定转移假设。一个可检验的小实验是在可控模拟环境中固定特征维度，对比表格型与线性模型方法达到同等策略误差的采样量，再引入观测噪声与转移偏移检验保证的适用边界。原领域理论有效不等于 BCI 有效，已有 EEG 相关工作尚未检索确认。