近似动态规划:结合区域近似与局部状态跟随近似
Approximate Dynamic Programming: Combining Regional and Local State Following Approximations
基于摘要分析。本文研究控制仿射确定性系统的无限时域最优调节问题,通过组合局部状态跟随(StaF)核近似与区域模型式强化学习(R-MBRL)价值函数近似,实现在线求解。核心贡献是以依赖状态的凸组合连接两类近似,使价值函数表示随系统状态所在区域发生过渡。 机制上,R-MBRL 面向较大紧集内的价值函数近似,而 StaF 核仅近似当前状态附近、随状态在紧集内移动的局部邻域。当状态进入包含原点的邻域时,组合表示从 StaF 近似过渡到 R-MBRL 近似。该设计将沿状态轨迹进行局部近似与原点邻域的区域近似结合起来;具体权重构造、模型信息需求、在线更新规则及计算成本尚未验证。 作者报告,通过基于 Lyapunov 的分析,建立系统状态相对原点的半全局一致最终有界(SGUUB)性质;这一表述不应等同于状态精确渐近收敛至原点。作者还报告在二、三、六及十状态动力系统上开展仿真,以展示方法的可扩展性与性能。摘要未提供具体性能数值、对照结果或计算开销,实验协议、消融及统计信息尚未验证。 研究对象是确定性动力系统的最优控制,而非 EEG 解码或 BCI 验证。其对实际闭环 BCI 的意义仍取决于系统建模、噪声与非平稳性等条件,现有材料不足以提出具体迁移结论;相关 EEG/BCI 工作尚未检索确认。复现需进一步核对系统方程、核函数与区域近似的定义、凸组合权重、学习参数,以及稳定性结论所依赖的假设。
值得核对其局部随状态移动与区域价值函数近似的组合机制,以及 Lyapunov 稳定性保证的适用条件;摘要中的验证限于动力系统仿真,尚不能据此判断 BCI 适用性。
来源:OpenReview · State space models · openreview.net