强化学习中的自举表示

基于摘要分析。本文研究强化学习中自举式辅助预测究竟学到了什么状态表示，以及这些表示与其他辅助任务方法有何不同；核心贡献是对 temporal difference learning 所学状态表示进行理论刻画，并据此设计新的辅助学习规则。 研究背景是：面对大规模或连续状态空间，端到端深度强化学习训练未必能形成适合任务的特征，因此常引入辅助预测目标来塑造表示。这里的自举指利用已有估计构造学习目标，而非统计学中的重采样。作者报告，在策略评估设置下，对环境的大多数转移结构，temporal difference learning 形成的表示不同于 Monte Carlo 和 residual gradient 算法形成的特征。摘要还说明，论文分析了这些表示用于策略评估的效用，但未给出具体理论条件、误差界或优势成立范围。 实证部分比较了新辅助学习规则在不同 cumulant functions 下的表现，涉及 four-room domain 与 Mountain Car 等经典环境。摘要未提供定量结果，因此不能据此判断哪种规则表现更好，也不能将策略评估结论直接推广为控制任务中的性能提升。具体损失、参数化方式、训练配置、对照协议、消融及统计信息尚未验证。 本文的主要研究对象是强化学习状态表示，并非 EEG 解码或 BCI。其机制分析依赖环境转移结构与策略评估问题；当前材料未建立这些条件与具体神经信号任务的对应关系，因此暂不提出 EEG 迁移实验。已有 EEG 相关工作尚未检索确认。