时序差分与 Q-learning 能否学习表征？一种均值场理论

基于摘要分析。本文研究深度强化学习中时序差分（TD）与 Q-learning 的特征表征如何随训练演化，以及能否收敛至最优表征。其核心贡献是以均值场视角，将有限维神经网络参数的演化与无限维 Wasserstein 空间中的极限演化联系起来，为非固定表征下的学习提供理论分析。 作者报告，在采用过参数化两层神经网络的设定下，TD 与 Q-learning 以次线性速率全局最小化均方投影 Bellman 误差，且相应特征表征收敛至最优表征。这里的“最优”应在论文所定义的目标与假设范围内理解，不能直接等同于任意任务上的最优策略或最优语义表征。摘要还指出，该分析推广了 Cai et al.（2019）在 neural tangent kernel 区域中的结果：后者的表征稳定在初始化表征，而本文允许分析表征的演化。分析亦扩展至 soft Q-learning，并与策略梯度建立联系。 该工作的主要研究对象是强化学习算法的理论收敛性，而非 EEG 表征学习或 BCI 实验。摘要未给出定理所需的采样、状态与动作空间、网络规模、初始化及正则性条件，也未说明有限宽度误差和具体速率表达式；这些内容及实验协议、消融与统计信息尚未验证。因此，现有材料不足以判断理论保证能否覆盖实际有限规模训练，也不宜据此提出已获验证的 EEG/BCI 迁移结论。已有 EEG 相关工作尚未检索确认。