一般效用强化学习：更简单的方差缩减与大规模状态—动作空间

基于摘要分析。本文研究一般效用强化学习（RL），目标是最大化状态—动作占用度量的函数，而不局限于标准累积奖励；这一框架可涵盖约束 RL、纯探索和从示范中学习等问题。作者提出单循环、无参数的归一化策略梯度算法，并通过占用度量的线性函数近似处理大型有限状态—动作空间。 核心机制是在归一化策略梯度中引入递归动量方差缩减。作者报告，在适当假设下，达到 ε 一阶平稳性的样本复杂度为 Õ(ε⁻³)，达到 ε 全局最优性的样本复杂度为 Õ(ε⁻²)。这些结论对应不同的优化目标与假设条件，不能直接视为同一协议下的性能比较；“无参数”的具体含义、采样方式及全局最优性所需条件尚未验证。 针对大型有限状态—动作空间，作者以线性函数近似占用度量，并采用带线性回归子程序的简单策略梯度方法。作者报告，该设置下的样本复杂度为 Õ(ε⁻⁴)；摘要未明确该界对应的误差准则、特征表示条件及近似误差处理方式，需查阅全文确认。实验协议、消融及统计信息尚未验证。 本文主要贡献是一般效用 RL 的优化与样本复杂度分析，而非 EEG 解码或 BCI 算法。材料未提供神经信号任务、闭环交互数据或相应验证，因此不能据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。