通过无模型强化学习实现连续空间 MDP 的形式化控制器合成

基于摘要分析。本文研究未知连续空间 Markov decision processes（MDPs）的形式化控制器合成：利用有限 MDP 上现成的无模型强化学习算法，在不显式构建有限状态抽象的情况下学习策略，再将策略映射回原连续空间系统，并给出近似最优性及概率接近性保证。 核心机制是将连续系统关联到一个转移概率未知的有限 MDP，在抽象层学习控制策略，再回映到具体系统。控制目标不是一般累计奖励最大化，而是在给定有限时间范围内，最大化满足 syntactically co-safe linear temporal logic（scLTL）性质的概率。作者借助有限 MDP 强化学习的经典收敛结果建立上述保证；抽象误差、系统假设、采样需求及保证的具体形式尚未验证。 针对自动机生成的奖励往往稀疏的问题，作者提出 potential-based reward shaping，以构造稠密奖励并加速学习。摘要未给出势函数定义、具体强化学习算法或奖励塑形对原目标的保持条件，这些均需结合正文核对。 作者报告在室温调节、道路交通单元控制及 BMW 320i 汽车的七维非线性模型三个物理基准上展示了方法有效性。摘要未提供各基准的时间范围、状态划分、对照方法、满足概率或学习效率数值，实验协议、消融及统计信息尚未验证。这些结果属于物理系统控制，不构成 EEG 解码或 BCI 有效性的证据。 平台推测（待验证）：若闭环 BCI 的控制任务可建模为 MDP，并能将有限时域任务要求写成 scLTL，可考虑复用形式化目标与奖励塑形模块；状态抽象及控制接口则需针对 EEG 观测噪声、部分可观测性和跨被试变化改造。一个可检验的小实验是在相同模拟控制环境、采样预算和任务规范下，对比稀疏奖励与塑形奖励的任务满足概率及学习效率，并逐步增加观测噪声。该假设不意味着原有理论保证自动适用于 BCI；相关 EEG 工作尚未检索确认。