基于后继表示的计数式探索

基于摘要分析。本文研究强化学习（RL）中的探索问题，提出利用后继表示（successor representation，SR）学习过程中的范数构造奖励加成，并通过次随机后继表示（substochastic successor representation，SSR）解释其隐式计数机制。研究主要面向表格型 RL 及需要函数逼近的深度 RL，而非 EEG 或 BCI 信号建模。 SR 原本依据后继状态的相似性描述状态间的泛化关系。本文关注其尚在学习时的瞬态行为：作者指出，SR 的范数可以用作鼓励探索的奖励加成；进一步引入 SSR，并论证其能够隐式记录状态或特征被观测的次数。这里的关键是表示学习动态与访问计数之间的联系，摘要未提供范数到奖励加成的具体映射、更新公式或理论成立条件。 作者报告，基于这一机制构造的算法可达到与部分具有理论样本效率保证的方法相当的表现，但摘要未明确该比较所用指标与条件。作者还报告，其深度 RL 扩展在低样本复杂度条件下的 Atari 2600 游戏中达到当时的最先进表现；具体游戏集合、交互预算、评价指标、对照基线及统计不确定性尚未验证，不能据此外推至其他预算或任务。 复现需核对 SSR 的定义、计数关系的假设、奖励加成构造，以及函数逼近下如何保留该机制。实验协议、消融及统计信息尚未验证。材料未提供与 EEG/BCI 的具体机制对应或验证结果，尚未检索确认已有 EEG 相关工作，因此不据此提出已获支持的 BCI 迁移结论。