基于后继表征的强化学习时间抽象

基于摘要分析。该研究讨论强化学习中如何自动发现和利用时间抽象，主张将后继表征（Successor Representation，SR）作为发现与组合 options 的共同基础，并通过探索任务中的实证评估考察相关方法的协同作用。 Options 是可持续多个时间步的行动过程，使智能体能够在不同时间尺度上预测和决策。论文针对许多 options 方法预先假定已有合理 option 集合的问题，利用 SR 按后续状态访问模式表征当前状态的特性，梳理其如何支持面向时间延展探索或规划的 option 发现。 其核心框架是让表征与 options 相互改进：智能体利用当前表征识别有用的 options，再借助这些 options 改善表征，形成持续迭代的循环。除发现新 options 外，论文还讨论组合已学习的 options，在不增加学习过程的条件下扩展出组合规模的候选集合；这一表述不意味着整个方法无需训练。 作者报告，围绕探索所发现的 options 及其 SR 组合方式开展的实验，揭示了 option 定义中的重要设计选择，并展示了 eigenoptions 与 option keyboard 等 SR 方法之间的协同作用。摘要未提供具体环境、对照基线、评估指标或数值，因此尚不能判断收益大小、计算代价及泛化范围；实验协议、消融及统计信息尚未验证。 论文的主要研究对象是强化学习中的时间抽象，并非 EEG 解码或 BCI。材料未提供神经信号实验，不能将其探索或规划结论直接视为 BCI 有效性证据；相关 EEG/BCI 工作尚未检索确认。