Residual Kernel Policy Network：增强基于 RKHS 的强化学习的稳定性与鲁棒性

基于摘要分析。本文研究再生核希尔伯特空间（RKHS）中的强化学习策略优化，针对训练时策略梯度方差较大、策略对超参数敏感的问题，提出 Residual Kernel Policy Network（ResKPN），将表示学习与残差层结合，以改善训练稳定性和策略鲁棒性。 机制上，作者报告其分析发现，采用宽带宽核时，策略梯度方差会显著增大。ResKPN 通过表示学习动态处理复杂环境中的观测，并引入受优势函数启发的残差层，以降低 RKHS 中的梯度方差。摘要未给出核函数、表示学习目标、残差层形式或策略更新公式，因此尚不能判断方差降低的具体条件及各模块的独立贡献。 结果方面，作者报告在复杂环境中获得了 30% 的回合奖励提升，并声称达到当前最佳表现；但摘要未列出环境、对照基线、奖励聚合方式、训练预算或随机种子，不能据此确定该提升的适用范围。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于以 EEG 解码状态作为输入的闭环策略学习，其表示模块可能用于处理高维、含噪观测，残差层可能用于抑制策略优化波动；这是假设，并非本文已验证的 BCI 效果，也不直接等同于 EEG 分类方法。迁移依赖可交互环境及奖励反馈，需要改造 EEG 时序编码和动作、奖励定义；低信噪比、跨被试分布变化和有限交互数据可能使表示学习不稳定，且降低梯度方差未必改善策略回报。可先在固定 EEG 状态输入与交互预算的离线回放或仿真环境中，对比完整方法与移除残差层的版本，检查梯度方差和回合奖励是否同时改善。相关 EEG 工作尚未检索确认。