通过强化学习为连续空间系统合成形式化策略

本文研究未知、连续状态空间随机过程中的时序性质满足问题，提出仅利用过程轨迹，通过强化学习（RL）合成有限记忆、确定性策略的方法。基于摘要分析，未取得论文全文。 核心机制是将线性时序逻辑（LTL）性质转化为自动机表示，据此构造路径依赖奖励，再由 RL 最大化该奖励。针对所构造奖励的稀疏性，作者提出顺序学习流程：从 LTL 规范的正范式中获得一系列标记函数，用这些函数逐步引导策略学习。其方法依赖轨迹数据、明确的 LTL 规范及状态标记，而非已知的完整过程模型；具体 RL 算法、奖励公式、标记函数构造和训练规模尚未验证。 作者报告，论文建立了连续状态空间中学习策略收敛至最优策略所需的假设与理论，顺序学习流程也在过程满足适当假设时具有相应收敛性质。这是有条件的理论结论，不能解读为任意未知系统上的无条件保证。作者报告在 4 维 cart-pole 系统和 6 维 boat driving 问题上演示了方法；摘要未提供性能数值、对照基线或重复实验信息，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 BCI 闭环辅助控制任务能够定义可观测状态及可靠的安全、目标事件标签，LTL 自动机与顺序奖励构造可能用于表达“避开危险状态并最终到达目标”等约束。可复用的是规范与奖励构造机制，需改造的是神经信号到控制状态的映射及标记规则。低信噪比、跨被试或通道变化可能造成事件误标，小数据也可能限制稀疏奖励学习；神经解码误差与状态不完全可观测还可能使理论假设不成立。一个可检验的小实验是在固定解码器的离线闭环仿真中，保持相同轨迹预算，比较直接稀疏奖励与顺序学习的 LTL 满足率及约束违反率，再逐步加入解码噪声检验稳健性。这只是迁移假设，已有 EEG 相关工作尚未检索确认。