强化学习中的自举表征

基于摘要分析。本文研究强化学习中辅助预测目标如何塑造状态表征，核心贡献是对 temporal difference（TD，时序差分）学习得到的表征作理论刻画，并据此设计新的辅助学习规则。研究对象是强化学习的策略评估与状态表征，而非 EEG 解码或 BCI。 机制与对照：深度强化学习的端到端训练未必自然形成适合任务的特征，辅助目标可用于引导表征学习。自举方法利用估计值构造学习目标，但其最终捕获哪些特征，以及与其他辅助任务方法的关系，需要理论解释。作者报告，在策略评估设定下，对于多数环境转移结构，TD 学得的表征不同于 Monte Carlo 和 residual gradient 算法学得的特征；摘要未给出“多数”的数学条件、具体表征形式或理论假设，尚不能将其推广为任意环境下的结论。 验证范围：作者讨论了这些表征用于策略评估的效用，并在 four-room domain 与 Mountain Car 等经典环境中，对不同 cumulant functions 下的辅助学习规则进行了实证比较。摘要未提供性能数值，也不足以判断哪种规则在何种条件下占优。损失形式、训练配置、对照细节、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG/BCI 问题被明确建模为具有时序状态、动作与反馈的强化学习任务，本文关于自举目标与环境转移结构共同影响表征的分析，可能为辅助目标选择提供参考；这不等于已证实能改善 EEG 解码。可复用的是辅助预测目标的比较思路，需改造的是 EEG 状态定义、时序转移与 cumulant 设计。低信噪比、跨被试差异及有限交互数据可能使转移估计不稳定。一个可检验的小实验是在固定表征模型和数据划分下，仅更换 TD、Monte Carlo 与 residual gradient 辅助规则，比较策略评估误差及下游表现。相关 EEG 工作尚未检索确认。