用于近似最优调节的基于模型的强化学习

基于摘要分析。本文研究确定性系统的在线近似最优调节问题，提出基于 concurrent learning（CL，并发学习）的 model-based reinforcement learning（基于模型的强化学习）实现，在类似持续激励（PE）的秩条件下开展在线学习与控制。核心贡献是借助系统模型在所选状态空间点计算 Bellman error，并结合参数辨识处理模型参数的不确定性。 机制上，方法不只依赖系统实际轨迹上的误差信息，而是利用模型在多个所需状态点评估 Bellman error。论文考虑参数化系统模型，并构造 CL 参数辨识器；这一设计仍有类似 PE 的秩条件要求，不能理解为完全取消激励或数据覆盖要求。具体模型形式、状态点选取方式、策略表示和更新规则尚未验证。 作者报告，通过 Lyapunov 分析建立了系统状态调节至原点邻域的一致最终有界性，以及所学策略收敛至最优策略邻域的性质。这里的结论是邻域意义下的有界与收敛，而非精确到达原点或精确恢复最优策略。作者还报告了用于展示控制器性能的仿真，但摘要未给出仿真系统、对照基线或定量指标；实验协议、消融及统计信息尚未验证。 该研究的主要对象是确定性系统控制，并非 EEG 解码或 BCI 验证。其方法依赖可用于状态空间误差评估的系统模型；现有材料不足以建立与 EEG/BCI 的具体机制对应，因此不据此推断神经信号任务上的有效性。