连续动作空间中的人在环强化学习

基于摘要分析。本文针对连续动作空间强化学习的样本效率问题，提出基于 Q value-dependent policy（QDP）的在环强化学习算法 QDP-HRL：在训练早期选择性引入专家动作建议，并通过专家经验辅助价值学习。 核心机制是在 twin delayed deep deterministic policy gradient（TD3）框架中，利用两个 Q 网络输出的差异作为人工建议的触发依据。当该差异超过当前队列中的最大差异时，专家考虑提供建议，智能体随后执行专家建议动作。作者还设计 advantage loss，结合专家经验与智能体策略引导 critic 网络更新。摘要未给出队列维护方式、损失公式、损失权重或专家建议的具体生成流程，这些实现细节尚未验证。其设计意图是减少持续人工监控的认知成本，但不能据此认定监控负担已得到实测降低。 作者报告，在 OpenAI gym 的若干连续动作任务上，QDP-HRL 提高了学习速度和性能；摘要未提供具体任务、数值、人工介入预算或统计结果。TD3 被明确作为比较对象，但具体实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若用于具有连续控制动作、且专家能及时提供有效动作建议的 BCI 闭环任务，双 Q 分歧触发与专家经验辅助更新可能具有复用价值；这是假设，不是已证实的 EEG/BCI 效果。需将状态输入和人工干预接口适配神经信号，并核对低信噪比、跨被试变化及反馈延迟是否使 Q 分歧频繁触发而失去选择性。可在固定交互预算和专家建议次数下，小规模比较分歧触发、随机触发与无建议 TD3，观察任务回报与人工介入负担。已有 EEG 相关工作尚未检索确认。