面向无限时域近似最优跟踪的基于模型的强化学习

基于摘要分析。本文研究漂移动力学未知的控制仿射连续时间非线性系统，提出无限时域最优轨迹跟踪问题的近似在线自适应解。核心贡献是借助基于模型的强化学习放宽持续激励条件，而非针对 EEG 解码或 BCI 任务提出算法。 方法采用基于 concurrent learning 的系统辨识器，通过在尚未探索的状态空间区域评估 Bellman 误差来模拟经验。其机制是利用辨识模型扩展可用于策略学习的信息，不仅依赖系统实际经历的轨迹。作者报告，通过基于 Lyapunov 的稳定性分析建立了期望轨迹跟踪以及所提出策略收敛至最优策略邻域的保证；这不等同于策略精确收敛至最优解。摘要未提供具体代价函数、策略表示、模型误差假设、仿真实验或量化结果，理论条件、实验协议及消融信息尚未验证。 平台推测（待验证）：若 BCI 驱动的辅助设备能够近似建模为控制仿射连续时间系统，该机制可能用于下游闭环轨迹控制，缓解在线探索受限、难以保持充分激励的问题，而不能直接替代 EEG 特征提取或意图解码。可考虑复用系统辨识与 Bellman 误差评估思路，但需适配离散且带噪的意图输入、观测延迟、状态估计和安全约束。低信噪比、跨被试变化及少量在线数据可能导致模型偏差，使未探索区域中的模拟经验不可靠。一个可检验的小实验是在具有已知动力学的辅助设备仿真中加入意图输入噪声和延迟，在相同采样预算与探索约束下比较使用和不使用模拟经验的轨迹误差及稳定性。已有 EEG/BCI 相关工作尚未检索确认。