用于强化学习的首次占据表征

基于摘要分析。本文研究强化学习中如何构建适合跨任务迁移、探索和快速到达目标的状态表征，提出首次占据表征（first-occupancy representation，FR），以首次到达某状态时的期望时间折扣刻画状态关系，而非累计访问该状态的折扣次数。 作为对照，后继表征（successor representation，SR）描述固定策略下状态占据的期望折扣累积量，可支持在环境动力学保持不变、奖励结构变化时的迁移。本文关注奖励只能消费一次、奖励位置改变，或任务重在尽快到达目标且不希望人为限定任务时域的情境；在这些情境下，首次到达时间与重复访问次数具有不同的行为意义。FR 的核心贡献是改变表征所编码的量，而不是仅调整奖励函数。 作者报告，FR 能促进探索和通向目标状态的高效路径选择，在特定条件下可规划由一系列子目标定义的、具有最优性保证的轨迹，并产生与动物回避威胁刺激相似的行为。摘要未给出这些结论对应的环境、基线、定量指标或理论适用条件；具体学习规则、实验协议、消融及统计信息尚未验证。行为相似性不等同于已证实的生物神经机制。 该研究的主要对象是强化学习状态表征，并非 EEG 解码或 BCI 系统。材料未提供与神经信号处理的具体对应关系，因此不能据此推断 FR 已改善 BCI 性能；已有 EEG 相关工作尚未检索确认。复现前应优先核对 FR 的估计方法、策略依赖性、一次性奖励的任务设定，以及子目标规划最优性所需的假设。