通过卷积实现投影：连续空间 MDP 中强化学习的最优样本复杂度

基于摘要分析。本文研究具有平滑 Bellman 算子的连续空间 Markov 决策过程（MDP），目标是在可访问生成模型的条件下学习 ε-最优策略。核心贡献是基于调和分析构造投影技术，并结合以正交三角多项式为特征的扰动版最小二乘价值迭代，获得作者报告的速率最优样本复杂度。 作者报告，其样本复杂度为 Õ(ε^{-2-d/(ν+1)})，其中 d 为状态—动作空间维度，ν 为平滑阶数。对于 Lipschitz MDP（ν=0），该界恢复离散化方法已有的最优速率；当 ν→∞ 时，则恢复并推广低秩 MDP 的 O(ε^{-2}) 速率。论文因此在理论上连接了离散化与回归两类连续空间强化学习路径；这不是神经信号解码模型，也不是状态空间序列模型的实验研究。 上述结论的适用前提是 Bellman 算子满足相应平滑性，并可通过生成模型采样；此处生成模型指 MDP 的采样访问机制，而非生成式基础模型。具体平滑条件、扰动方式、投影构造、最优性证明及实验协议尚未验证。复杂度表达式也提示状态—动作维度会影响样本需求，不能仅依据高平滑极限推断实际任务的数据效率。 平台推测（待验证）：若将其用于 EEG 驱动的自适应控制，可考察连续状态—动作表示下的策略学习，而非直接替代 EEG 解码器。假设相关控制过程可近似为平滑 MDP，三角多项式特征和投影式价值迭代可能复用，但状态表示、奖励及采样机制需要改造。低信噪比、部分可观测性、跨被试差异、小数据及无法任意查询环境都可能使理论前提失效。可先在具有已知平滑性和可查询转移机制的低维模拟控制任务中，对照离散化方法检验不同维度与平滑度下达到相同策略误差的样本需求；这一实验不构成 BCI 有效性验证。已有 EEG 相关工作尚未检索确认。