结合示范增强的奖励、策略与世界模型学习的多阶段机器人操控

基于摘要分析。研究针对长时程机器人操控中稠密奖励难以设计、状态—动作空间探索困难的问题，提出 DEMO³：利用任务的多阶段结构，将整体目标分解为子目标，并结合示范数据支持基于视觉输入的强化学习。 方法包含多阶段稠密奖励学习、双阶段训练方案和世界模型学习，统一在示范增强的强化学习框架中。其核心思路是借助阶段结构与示范缓解长时程探索难题，而非仅依赖稀疏奖励学习。摘要尚未说明阶段如何识别、奖励学习的监督来源、两个训练阶段的具体分工，以及世界模型如何参与策略训练或决策；损失形式、模型架构与训练细节尚未验证。 作者报告，在覆盖四个领域的16项稀疏奖励任务上，相比其所称的最先进方法，平均数据效率提升40%，在特别困难的任务上提升70%；评估包含具有挑战性的类人机器人视觉控制任务，并报告可使用少至五条示范。摘要未明确数据效率的计算口径、具体对照方法，以及五条示范对应的任务范围，因此这些百分比不能解释为任务成功率的百分点增益，也不能推广为所有任务均仅需五条示范。 复现时需核对任务与阶段定义、示范采集及其成本是否计入数据预算、交互预算、对照配置、各组件消融和随机种子统计；这些实验协议、消融及统计信息尚未验证。本文主要研究对象是机器人操控，材料未提供 EEG/BCI 验证或具体机制对应关系，不能据此认定其具有神经信号建模收益。已有 EEG 相关工作尚未检索确认。