面向 POMDPs 的基于周期性智能体状态的 Q-learning

基于摘要分析。本文研究部分可观测马尔可夫决策过程（POMDPs）中，使用观测历史构造的智能体状态不满足马尔可夫性质时，平稳策略可能受到的限制，提出学习周期策略的 PASQL（periodic agent-state based Q-learning）。作者报告，通过周期马尔可夫链与随机逼近理论，证明 PASQL 收敛到循环极限，并刻画收敛后周期策略的近似误差。 传统信念状态方法依赖系统模型；本文采用的替代表示是无需系统模型、可递归更新的观测历史函数，例如帧堆叠或循环神经网络。核心论点不是改进状态编码网络，而是在这类表示未必具备马尔可夫性质的前提下，允许策略随周期相位变化，而非始终使用同一平稳决策规则。作者以例子说明非平稳策略可能优于平稳策略，并报告一项数值实验展示周期策略的收益；摘要未给出实验环境、周期长度、对照配置或量化结果，具体收敛条件、实验协议及统计信息尚未验证。 平台推测（待验证）：这一机制可能对应 EEG/BCI 闭环控制中有限历史表示无法充分概括隐状态的问题，但周期策略并不等同于处理 EEG 非平稳性，原领域结论不能直接外推。可复用的是按周期相位组织的价值学习与策略机制；需改造的是 EEG 观测编码、动作及奖励定义。低信噪比、跨被试差异和小样本交互可能使各相位的价值估计不稳定，周期也可能与任务动态不匹配。一个可证伪的小实验是在同一部分可观测闭环仿真中，固定 EEG 特征、历史长度与交互预算，仅比较平稳 Q-learning 与 PASQL，并检验收益是否随周期设置而稳定存在。已有 EEG 相关工作尚未检索确认。