利用无限维置信球探索强化学习中的状态与动作空间

基于摘要分析。本文研究大规模或连续状态与动作空间中的强化学习问题，提出非参数在线算法 RKHS-RL，利用再生核与再生核希尔伯特空间（RKHS）嵌入假设表示环境转移，并通过无限维置信球平衡探索与利用。研究对象是一般 Markov Decision Process（MDP），并非 EEG 解码或 BCI 系统。 机制上，算法使用岭回归估计转移核心（transition core），以 RKHS 中的置信集合表达估计不确定性。作者称该方法可处理有限及无限状态与动作空间，以及转移概率中的非线性关系。摘要尚未给出核函数选择、嵌入假设的具体形式、置信球构造、动作优化方式及计算开销，因此不能仅据此认定它消除了所有维数相关代价。 理论结果方面，作者报告在论文所设条件下，RKHS-RL 达到次线性遗憾上界 ṼO(H√T)，其中 T 为算法时间步，H 为 MDP 的时域长度。该结果属于理论保证，不是任务成功率或 EEG 分类指标；其成立条件及被符号隐藏的依赖项仍需正文核对。实验协议、对照、消融及统计信息尚未验证。 平台推测（待验证）：若将自适应 BCI 的反馈或辅助控制表述为在线 MDP，核化转移估计与不确定性驱动探索可能具有方法参考价值，但这是假设，不代表已有 BCI 效果。可复用部分是岭回归估计与置信集合思路；需重新定义神经信号状态、动作、奖励及安全探索约束，并检验状态表示是否满足所需假设。EEG 的低信噪比、部分可观测性、跨被试差异及有限交互样本可能破坏估计与置信校准。一个小规模可证伪实验是在离线拟合的 BCI 交互模拟环境中，固定状态表示和交互预算，对比置信球探索与相同核估计下的非定向探索，检查累积奖励及置信覆盖是否随噪声增加而失效；模拟结果不能替代在线 BCI 验证。相关 EEG 工作尚未检索确认。