POMDP 中基于智能体状态的策略：超越信念状态 MDP

基于摘要分析。本文研究系统模型未知时，如何在部分可观测马尔可夫决策过程（POMDP）中构建和学习策略。其主要贡献是以可局部递归更新的智能体状态（agent state）为统一框架，梳理已有策略类别及其求解方法，而非提出 EEG 解码模型。 传统方法将信念状态作为信息状态，把 POMDP 转换为完全可观测的 MDP；作者指出，这一路径依赖对系统动力学的准确了解，在模型未知的学习情境下受到限制。替代框架由智能体维护递归更新的内部状态，并据此选择动作。摘要区分了三类求解路径：寻找最优非平稳智能体状态策略的 designer's approach；寻找局部最优平稳策略的 policy search；以及利用 approximate information state 寻找近似最优平稳策略的方法。这里的最优、局部最优与近似最优对应不同目标，不能视为同等保证。 作者还介绍了 approximate information state 的思想如何用于改进 POMDP 中的 Q-learning 和 actor-critic。摘要未给出具体状态更新公式、近似误差条件、算法实现或量化实验结果；相关理论保证、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：该框架可能适用于具有动作与反馈的闭环 BCI，而非直接解决离线 EEG 分类。假设用户意图等隐状态无法直接观测，可将观测与动作历史压缩为递归状态，用于后续决策；可复用的是状态维护与策略优化思路，需要改造的是 EEG 观测编码、动作空间及奖励定义。其依赖交互序列和反馈，EEG 低信噪比、跨被试差异及有限交互数据可能使压缩状态丢失决策信息。一个可检验的小实验是在相同被试划分与反馈预算下，对比仅使用当前观测和使用递归状态的策略，检验历史信息是否改善闭环任务表现。已有 EEG 相关工作尚未检索确认。