连接状态与历史表征：理解自预测强化学习

基于摘要分析。本文研究深度强化学习中，适用于 Markov decision processes（MDPs）和 partially observable Markov decision processes（POMDPs）的状态与历史表征方法之间有何共同机制。作者以自预测抽象（self-predictive abstraction）联系多种既有方法与理论框架，并据此提出学习状态与历史自预测表征的极简算法。 理论贡献侧重于解释：看似不同的状态与历史抽象如何共享自预测思想，以及学习这类表征时常用目标与优化技术为何有效，其中明确涉及 stop-gradient。摘要未给出自预测目标的具体形式、理论成立条件或算法实现，不能据此推断网络结构、损失函数及训练流程。 作者报告，在标准 MDPs、带干扰因素的 MDPs，以及具有稀疏奖励的 POMDPs 中应用该算法，以验证理论，并形成面向强化学习实践者的初步指南。摘要未提供任务名称、对照基线、结果数值或统计信息，因而尚不能判断收益幅度及适用边界；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其与 EEG/BCI 的潜在联系主要在于部分可观测的闭环决策，而非直接的 EEG 分类。假设历史表征能够保留对未来决策有用的信息，可探索其对噪声观测下 BCI 控制状态估计的价值；这依赖具有时序结构、动作与奖励信息的交互轨迹，不能直接套用于仅有试次标签的数据。可复用的是历史表征与自预测学习思路，观测编码、动作接口及奖励定义则需改造。低信噪比、跨被试与通道差异、小样本可能使表征学习到可预测但与控制无关的成分。小规模可证伪实验可在同一闭环任务、固定数据划分与交互预算下，对比是否加入自预测目标，并考察任务回报与噪声敏感性；这不属于原文已验证结果。已有 EEG 相关工作尚未检索确认。