通过强化学习实现连续状态系统的形式化策略合成

基于摘要分析。本文研究未知连续状态随机过程如何满足时序性质，提出仅利用过程轨迹，通过强化学习（RL）合成有限记忆、确定性策略的方法。核心贡献是将线性时序逻辑（LTL）规范的自动机表示转化为路径依赖奖励，并建立连续状态空间中学习策略收敛至最优策略所需的假设与理论。 技术机制上，奖励不仅取决于当前状态，还依赖轨迹所体现的时序规范进展。针对构造出的稀疏奖励，作者提出序贯学习程序：从 LTL 规范的正范式得到一系列标记函数，用它们引导 RL 学习。作者报告，在随机过程满足适当假设时，该程序引导策略收敛至最优策略；具体奖励定义、标记函数构造、优化算法及收敛条件尚未验证，不能将这一结论理解为对任意未知连续状态系统的保证。 作者报告在 4 维 cart-pole 系统和 6 维 boat driving 问题上演示该方法。摘要未提供定量结果、对照基线或采样预算，实验协议、消融及统计信息尚未验证。复现需取得全文，核对状态与动作定义、LTL 规范、轨迹采样方式、奖励构造及理论假设。 平台推测（待验证）：其潜在 BCI 对应场景是带有时序任务约束的闭环控制，而非 EEG 解码本身。迁移假设是：可由神经信号解码结果与环境状态构造可标记的连续状态轨迹，并用 LTL 描述任务顺序或约束。可复用部分是规范自动机、路径依赖奖励和序贯学习思路；需改造的是状态估计、标记函数及交互采样流程。EEG 低信噪比、跨被试漂移、通道变化和有限交互数据可能导致标记错误，并破坏收敛假设。一个可证伪的小实验是在同一闭环仿真环境、同一 LTL 任务和交互预算下，对比直接稀疏奖励学习与序贯学习，并逐步加入模拟解码噪声，检验规范满足率和样本效率是否仍有改善；这不构成已证实的 BCI 效果，相关 EEG 工作尚未检索确认。