强化学习中的状态表征选择

基于摘要分析。本文研究强化学习中如何选择合适的状态表征：给定多个将历史观测映射到有限状态集合的候选模型，在不知道哪个模型正确、也不知道相应马尔可夫决策过程（MDP）概率特性的情况下，联合完成表征选择与奖励优化。作者提出一种算法，并报告其遗憾为 T^{2/3} 阶，其中 T 为时间范围。 关键前提是：候选模型中至少有一个能使映射后的状态动态满足马尔可夫性。学习目标是使累计奖励接近正确模型下最优策略的表现；若存在多个正确模型，则以其中最佳模型对应的最优策略为参照。因此，这不是在任意历史压缩方式下都成立的保证，也不能据摘要推断其覆盖所有候选均不满足马尔可夫性的情形。 阅读重点在于表征不确定性与策略学习如何共同进入遗憾分析。摘要未提供算法步骤、候选数量及状态规模对界的影响、其他适用假设或经验评估细节；证明条件、实验协议、消融及统计信息尚未验证。 本文主要对象是强化学习的状态表征选择，不能因来源栏目为 State space models 就将其解释为现代序列状态空间网络。材料未提供 EEG/BCI 数据或验证，也不足以建立具体迁移机制；相关 EEG 工作尚未检索确认。