记忆作为历史上的状态抽象

基于摘要分析。本文研究非马尔可夫环境中强化学习的理论分类问题，将智能体记忆视为对观测—动作历史的时间扩展抽象，以统一解释不同 POMDP（部分可观测马尔可夫决策过程）类及其关系。核心贡献是用传统状态抽象的保持性质刻画更细粒度的环境类，并将框架扩展到随机抽象与近似情形。 机制与理论贡献：既有研究提出了 regular decision processes、approximate information states 等类别，但各类之间的关系及选择依据仍需澄清。作者报告，其证明可利用模型保持、最优价值 Q* 保持和最优策略 π* 保持等性质定义 POMDP 类；同时将状态抽象扩展为“软”（随机）抽象，说明其与随机记忆的联系。通过重新解释既有类别，作者报告证明了新的类别关系，并将这些类别推广到近似版本。这是强化学习记忆与状态表示的理论工作，摘要未提供具体神经网络结构或训练算法。 证据边界：上述结果为作者报告的理论结论，具体定义、定理假设、近似误差界及证明尚未核对。实验协议、消融及统计信息尚未验证；不能据此认定该框架已改善某一任务的学习性能。 平台推测（待验证）：假设 EEG 驱动的序列决策任务具有部分可观测性，且具备连续观测、动作历史与明确奖励，该框架可能帮助区分记忆表示应保留环境模型、最优价值还是最优策略，而非只按信号重建质量选择表示。可复用的是抽象保持条件，需改造的是 EEG 观测编码与记忆更新模块。低信噪比、跨被试和通道变化可能使同一记忆表示不再满足保持条件，小数据也可能不足以估计价值或模型。一项可检验的小实验是在固定 EEG 观测编码和决策任务下，对比无记忆、固定历史窗口与随机记忆表示，检验保持误差和策略回报是否一致变化；这不是论文已验证的结论，已有 EEG 相关工作尚未检索确认。