面向 POMDPs 的基于周期性智能体状态的 Q-learning

基于摘要分析。本文研究部分可观测马尔可夫决策过程（POMDPs）中，使用无模型 agent state 代替信念状态时的策略学习问题，提出 PASQL（periodic agent-state based Q-learning），通过学习周期策略利用非马尔可夫状态表示下非平稳决策的潜在优势。 标准信念状态依赖系统模型；agent state 则是可递归更新的观测历史函数，例如帧堆叠或循环神经网络表示。作者指出，这类表示未必满足马尔可夫性质，因此标准 Q-learning 所学习的平稳策略可能不如非平稳策略。这里的周期性主要体现为策略随周期相位变化，不应理解为已经恢复了状态表示的马尔可夫性质。 作者报告，通过结合周期马尔可夫链与随机逼近理论，证明 PASQL 收敛到周期极限，并刻画收敛后周期策略的近似误差；另以数值实验展示周期策略相对平稳策略的收益。摘要未提供具体任务、周期设置、基线配置或量化结果，定理成立条件、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该机制可能与部分可观测的 BCI 闭环控制有关，尤其是有限观测历史不能充分表征用户与环境状态的情形。可复用的是周期策略学习思路，需另行设计 EEG 观测表示、动作与奖励，并核对理论假设是否适用。低信噪比、用户状态漂移及有限交互样本可能使周期相位难以学习，周期策略也不等同于对漂移的自适应。一个可证伪的小实验是在固定观测表示与交互预算的简化闭环模拟中，比较平稳 Q-learning 与 PASQL，并改变观测噪声和周期设置，检查收益是否稳定存在。已有 EEG 相关工作尚未检索确认。