DS-GRPO：结合动作空间验证的扩散策略噪声空间适应

基于摘要分析。本文研究预训练扩散生成策略的适应问题：在冻结原策略权重的前提下，通过一个小型 steering policy 选择采样器的初始噪声，调整原策略支持范围内的行为分布。DS-GRPO 的核心贡献是以示范作为动作空间验证依据，直接为噪声空间中的策略更新提供监督，缓解优化空间与可验证信号所在空间不一致的问题。 机制上，DS-GRPO 从 steering policy 中采样一组噪声，经冻结采样器解码为动作，再根据示范对这些动作评分，并通过组相对策略梯度更新 steering policy。摘要未给出评分函数、梯度估计及正则化的具体形式，不能据此认定其采用某种特定距离或损失。 对照思路包括两类：基于 critic 的噪声空间强化学习可在动作空间验证行为，但需要环境交互探索与价值估计；基于反演的 steering 将示范动作映射回噪声空间，以噪声标签回归代替直接优化动作空间距离。DS-GRPO 尝试结合示范监督与动作空间直接验证，而非修改扩散策略本身。 作者报告，在包含离线行为克隆、目标条件行为克隆和在线 DAgger 的仿真及真实世界实验中，DS-GRPO 在多数任务上达到或超过既有 steering 方法。摘要未提供具体任务、数据规模、基线名称、评价指标或数值，因此不能判断收益幅度、统计稳定性及不同实验设置间的可比性。实验协议、消融及统计信息尚未验证；复现时需核对组采样数量、冻结采样器的推理成本、示范评分定义和在线交互预算。本文主要对象是生成式动作策略适应，并非 EEG 解码或 BCI；已有 EEG 相关工作尚未检索确认，不据此提出已验证的迁移结论。