在线非随机无模型强化学习

基于摘要分析。本文研究动态乃至对抗性环境中的鲁棒无模型强化学习，核心贡献是以扰动信号为中心构建策略类，并提供相应优化与在线适应算法；主要研究对象是强化学习控制，而非 EEG 解码或 BCI。 机制方面，作者指出，传统基于状态的策略难以应对未建模扰动，且即使在线性动力系统中，线性状态策略的优化也可能产生非凸目标。受基于模型的控制方法启发，论文定义了若干类 pseudo-disturbances（伪扰动），据此构造策略并进行优化。摘要未给出伪扰动的具体定义、计算所需信息、策略参数化或优化目标，因此尚不能判断其可观测性要求与实际计算成本。 理论与实验方面，作者报告，该方法可与黑盒无模型强化学习方法结合，并在线性动力学和对抗性扰动条件下获得可证明的遗憾保证；相较已有 bandit linear control 结果，其遗憾界不依赖状态空间维度。该结论不能直接推广为任意非线性环境中的保证。作者还报告在多个标准 RL 基准上获得更好的鲁棒性，但摘要未列出基准名称、扰动协议、对照方法或数值。实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若在线 BCI 闭环控制可近似为受扰动的动力系统，并能取得算法所需的状态、动作及反馈信息，伪扰动策略可能为应对解码漂移或外部控制扰动提供思路，而非直接改善 EEG 表征。可考虑复用策略适应框架，但需改造神经信号到控制状态的接口、反馈设计与安全约束。低信噪比、反馈延迟、跨被试差异及有限交互数据可能使伪扰动估计不可靠，线性动力学假设也需核对。一个可检验的小实验是在固定解码器的闭环仿真中，对同一无模型控制器分别启用和关闭该适应模块，在一致的交互预算与预设扰动下比较累计代价及控制稳定性；这只是迁移假设的验证建议。相关 EEG/BCI 工作尚未检索确认。