强化学习中的自举表征

基于摘要分析。本文研究强化学习中自举辅助预测究竟学习了哪些状态特征，并对 temporal difference learning（时序差分学习，TD）所学状态表征给出理论刻画。核心贡献是区分不同预测学习规则产生的表征，并利用理论分析设计新的辅助学习规则。 研究背景是：在大规模或连续状态空间中，端到端训练深度强化学习智能体并不一定能自动得到适合任务的特征，因此常引入辅助预测目标来塑造表征。本文聚焦策略评估，而非直接证明策略控制性能的提升。作者报告，对于环境的大多数转移结构，TD 学到的表征不同于 Monte Carlo 和 residual gradient 算法学到的特征；摘要未展开“大多数”的数学条件及表征差异的具体形式，仍需核对正文。 作者还分析了这些表征对策略评估的效用，并在 four-room domain 与 Mountain Car 等经典环境中，针对不同 cumulant functions（累积量函数）比较相关学习规则。摘要未提供定量结果，无法判断新规则的收益幅度、稳定性或适用范围；具体目标函数、理论假设、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将 EEG 驱动的交互过程建模为强化学习状态序列，本文关于辅助预测规则如何塑造表征的分析，可能帮助选择状态编码的学习目标。但这一对应依赖可用的时序转移、固定策略下的数据和可定义的辅助预测信号，不能直接套用于静态 EEG 分类。可复用的是学习规则的比较思路，需改造状态编码与辅助信号设计；低信噪比、部分可观测性、跨被试差异和小样本可能使原理论条件不成立。一个小规模检验是：在同一固定策略采集的 EEG 交互序列上，固定编码器容量与数据划分，仅比较 TD、Monte Carlo 和 residual gradient 辅助训练后的留出轨迹价值预测误差。已有 EEG 相关工作尚未检索确认。