无限状态空间中的强化学习：通过稳定探索获得收敛保证

基于摘要分析。本文研究折扣奖励条件下，可数无限状态空间中的全在线、无模型 Q-learning，核心贡献是以稳定探索控制状态漂移，并将探索稳定性与收敛保证相结合。 有限状态空间中的 Q-learning 已有较成熟的理论保证，但在可数无限状态空间中，探索机制可能导致状态持续漂移，使学习过程不稳定。作者提出的框架包含两部分：证明稳定探索条件下 Q-learning 的收敛性，以及构造确保探索稳定性的在线算法。摘要未给出“稳定”的数学定义、收敛形式、状态访问条件或学习率要求，这些理论适用边界尚未验证。 作者将两部分结合，并声称据其所知，这是无限状态空间中 Q-learning 的首个收敛保证；该优先性判断尚未独立核实。作者还报告提供了数值示例，用于比较框架的不同变体，但摘要未披露任务、对照设置、指标或具体结果，因此不能判断其经验性能优于其他方法。实验协议、消融及统计信息尚未验证。 论文主要研究对象是强化学习的探索稳定性与收敛理论，并非状态空间序列模型，也未提供 EEG 或 BCI 验证。其对具体 BCI 闭环控制问题是否适用，需要先核对状态空间、奖励及稳定性假设；现有材料不足以提出有依据的迁移实验方案。已有 EEG 相关工作尚未检索确认。