相对熵正则化的连续动作样本高效强化学习

基于摘要分析。本文研究连续动作强化学习中的学习稳定性与样本效率问题，提出 continuous dynamic policy programming（CDPP），将基于价值函数框架中的相对熵正则化扩展至 deep deterministic policy gradient（DDPG）的 actor–critic 框架。主要研究对象是连续控制，并非 EEG 解码或 BCI 验证。 机制上，CDPP 在 critic 中使用 Monte Carlo 估计处理连续动作空间下难以直接计算的 softmax 运算，并考察 Mellowmax 算子的实际优势；同时提出 Boltzmann sampling policy，使 actor 的探索受相对熵正则化 critic 引导。摘要将稳定策略更新与高效探索作为方法的主要作用，但具体正则化形式、采样分布、估计预算及训练流程尚未验证。 作者报告，在若干基准任务及基于真实机器人的仿真任务上，CDPP 相比相关基线具有更好的样本效率和学习稳定性。摘要未提供任务名称、交互预算、基线配置或量化指标，因此不能判断收益幅度及其跨任务一致性；实验协议、消融及统计信息尚未验证，机器人相关评估也不应直接视为实机验证。 平台推测（待验证）：若 BCI 应用包含连续控制与在线奖励反馈，该方法的探索和策略更新机制可能具有评估价值，但它不是直接处理 EEG 表征或跨被试差异的方法。可复用部分是 actor–critic 正则化与动作采样机制，需改造的是神经信号状态编码、奖励设计和动作安全约束。低信噪比、非平稳信号及有限在线交互可能使 critic 估计和探索失效。一个可检验的小实验是在固定 EEG 状态编码器的离线连续控制仿真中，以相同交互预算比较 CDPP 与 DDPG 的学习曲线及多次运行波动；这只能检验控制层面的迁移假设，不能证明在线 BCI 有效。已有 EEG 相关工作尚未检索确认。