用于扩散模型对齐的梯度空间进化策略

基于摘要分析。本文研究扩散模型通过学习得到的奖励函数进行对齐时，反复评估生成轨迹和计算梯度带来的训练成本，提出 Gradient-Space Evolution Strategies（GS-ES），在单个去噪步骤组织种群式探索，将候选状态的奖励评估用于模型参数更新。 机制上，GS-ES 扰动共享的转移均值，通过无需梯度的 ODE 延续评估候选状态，再聚合奖励加权的 score-function 更新；选中的候选引导后续探索。方法还按时间步分配评估预算，使预算与剩余 rollout 长度相适配。针对 Gaussian transitions，作者推导了一个精确恒等式，将局部更新表达为加权动作扰动的 Jacobian pullback，从而连接进化式探索与基于梯度的参数更新，且不使用参考策略 KL 惩罚。具体奖励加权规则、预算函数及推导适用条件尚需全文核对。 作者报告，在 FLUX.1-dev 与 Wan2.1-T2V-1.3B 上，GS-ES 在所评估的图像和视频指标中优于所比较的基线。其中，FLUX.1-dev 实验的 PickScore 为 24.27，DanceGRPO 为 23.33；作者报告，达到基线峰值奖励所需训练步数约为基线的五分之一。摘要未提供提示词集合、评估划分、重复实验及计算预算，因此这些结果仅能按所述实验背景理解，训练步数减少也不能直接等同于总计算量或墙钟时间同比减少。 复现重点是核对候选数量、ODE 延续成本、时间步预算、奖励模型及对照设置，并区分样本效率与实际计算效率。实验协议、消融及统计信息尚未验证。本文的主要对象是图像与视频扩散模型对齐，材料未提供 EEG/BCI 实验，也未建立具体的神经信号任务对应关系；已有 EEG 相关工作尚未检索确认，不据此推断其 BCI 有效性。