具有非马尔可夫奖励的决策过程的基于状态的 anytime 求解方法

基于摘要分析。本文研究具有非马尔可夫奖励的决策过程（NMRDP），即奖励依赖历史而不只依赖当前状态的决策问题，贡献是提出奖励表示及向等价马尔可夫决策过程（MDP）的转换方法，使其适配基于状态的 anytime 算法。 核心机制是扩展未来线性时序逻辑（FLTL）以表达奖励，并通过转换将模型检测嵌入求解过程。基于状态的 anytime 算法仅显式构建和探索部分状态空间，在计算时间与策略质量之间进行权衡。相较于一般的 NMRDP 到 MDP 转换，本文关注的是如何让奖励表示与按需求解的状态探索相配合，而非单纯得到一个等价 MDP。 作者报告，该转换得到的 MDP 达到不超出 anytime 框架时可实现的最小规模，并因此能在截止时间前得到更好的策略。摘要未提供具体任务、对照方法、运行时间或策略质量指标；最小性结论的适用条件、实验协议、消融及统计信息尚未验证。这是决策过程与时序逻辑方法研究，并非现代序列建模语境中的 State Space Models，也未报告 EEG 或 BCI 实验。 平台推测（待验证）：若 BCI 交互控制的奖励确实取决于多步事件顺序，该方法可能用于表达历史依赖的反馈规则，并在有限计算预算内求解策略；这不等同于改善 EEG 解码。迁移依赖可用的状态、动作、转移模型及明确的时序奖励规则，可复用 FLTL 奖励表示与转换机制，但需另行处理神经信号观测的不确定性及用户差异。低信噪比和跨被试漂移可能使状态模型失准，历史信息扩展也可能增加求解负担。一个可检验的小实验是在固定转移模型和计算预算的模拟 BCI 交互任务中，比较该转换与直接历史状态扩展的已探索状态数及策略回报；已有 EEG 相关工作尚未检索确认。