利用后继表示进行基于计数的探索

基于摘要分析。本文研究强化学习（RL）中如何利用状态表示构造探索奖励，核心贡献是将 successor representation（SR，后继表示）学习过程中的范数用作奖励加成，并通过 substochastic successor representation（SSR，次随机后继表示）解释其与访问计数的关系。 SR 原本依据后继状态的相似性定义状态间的泛化关系。本文关注其尚在学习时的瞬态性质，而非仅将收敛后的表示用于状态表征。作者指出，SSR 隐式记录了各状态或特征被观察的次数，据此构造可在表格型设置下获得理论支撑的探索算法，并进一步扩展到需要函数逼近的深度 RL。具体范数、更新规则、奖励加成形式及理论成立条件尚未验证。 作者报告，所提出的算法表现可比肩部分具有理论样本效率保证的方法；在低样本复杂度条件下，其深度 RL 扩展在 Atari 2600 游戏上达到当时的 state-of-the-art 表现。摘要未提供具体游戏、交互预算、基线、评估指标或数值，因此这些结果不能直接外推至其他采样预算或任务。实验协议、消融及统计信息尚未验证。 该研究的主要对象是 RL 探索，并非 EEG 表征或 BCI 解码。其机制依赖可更新的状态或特征表示，以及智能体与环境交互的奖励反馈；静态 EEG 分类并不直接满足这些条件。尚未检索确认已有 EEG 相关工作，本文对 BCI 的适用性仍待评估。复现首先需核对 SSR 的计数关系、理论假设及 Atari 的低样本评估设置。