基于模型的强化学习中尊重原任务奖励的子任务（摘要重刊）

基于摘要分析。本文研究基于模型的强化学习中如何发现有助于规划的时间抽象，提出 reward-respecting subtasks：将原任务奖励与基于 option 终止时状态特征的额外奖励结合，用以构造子任务、学习 options 及其模型。核心贡献是让子任务发现与后续规划目标保持联系，而非仅追求到达特定状态或最大化其他感觉信号。 在 options 框架下，子任务先被求解以形成 option，再学习该 option 的模型并供规划过程使用。作者指出，可能的 options 空间非常大，而许多既有子任务构造忽略原任务奖励。所提机制通过保留原奖励约束可选行为，同时利用终止状态特征提供额外目标，从而部分缓解 option discovery 的搜索问题；摘要未给出奖励组合的具体公式或终止规则。 作者报告，在文中研究的规划任务中，这类子任务产生的 option models 比 eigenoptions、基于瓶颈状态的最短路径 options，以及 option-critic 生成的 reward-respecting options 更可能有助于规划。摘要未提供任务名称、评估指标、数值、数据划分或统计信息，因此不能据此判断优势幅度及适用范围。作者还说明，可利用标准算法和 general value functions，以在线、离策略方式学习价值、策略、options 与模型，具体更新流程尚未验证。 该工作的主要对象是强化学习中的时间抽象与模型规划，并非 EEG 解码或 BCI 验证。实验协议、消融及统计信息尚未验证；现有材料不足以建立具体的 EEG/BCI 迁移结论，相关工作亦尚未检索确认。标题中的 Abstract Reprint 表明此条目为摘要重刊，不应据此推断为新的完整方法版本。