面向基于模型的强化学习的奖励兼顾子任务

该研究针对基于模型的强化学习中如何发现有助于规划的时间抽象，提出奖励兼顾子任务（reward-respecting subtasks）：在原任务奖励之外，加入由 option 终止时状态特征决定的奖励项，以引导生成服务于原任务规划的 option。基于摘要分析，未取得论文全文。 核心机制是先定义子任务并求解得到 option，再学习该 option 的模型供规划使用。作者指出，既有子任务常以到达瓶颈状态或最大化非奖励感知信号的累计值为目标，未充分考虑原任务奖励及 option 模型的后续规划用途。新方法保留原任务奖励，并结合终止状态特征奖励，以约束候选 option 空间，部分缓解 option 发现问题；摘要未提供具体奖励公式、特征构造或终止规则。 作者报告，由此获得的 option 模型比 eigenoptions、基于瓶颈状态的最短路径 options，以及由 option-critic 生成的奖励兼顾 options 更可能有助于规划。该结论的任务范围、对照设置、评价指标及数值尚未验证，不能据此判断跨任务普适性。作者还提出，可借助标准算法与 general value functions，以在线、离策略方式学习价值、策略、options 和模型；具体算法配置、实验协议、消融及统计信息尚未验证。 原论文主要研究对象是强化学习中的时间抽象与规划，并非 EEG 解码或 BCI 验证。平台推测（待验证）：若交互式 BCI 可表述为具有状态、动作、任务奖励和可学习转移关系的序贯决策问题，该机制或可用于发现面向长期目标的控制子策略；可复用的是子任务奖励设计和 option 建模思路，需改造的是神经信号状态表征、奖励反馈及终止条件。低信噪比、跨被试或通道变化、少量交互数据可能使状态特征和 option 模型不可靠。一个可证伪的小实验是在固定解码器与交互预算的 BCI 控制模拟环境中，对比奖励兼顾子任务与仅基于瓶颈状态的子任务，检验其是否改善原任务累计回报。已有 EEG 相关工作尚未检索确认。