DiffusionRVGE：通过基于回归的价值梯度估计进行强化学习

基于摘要分析。本文研究图像扩散模型基于奖励进行强化学习时，重复去噪和梯度估计带来的训练成本，提出 DiffusionRVGE：将中心化奖励对中心化的最终去噪图像进行回归，以构造模型更新方向，无需奖励函数导数，也无需沿采样轨迹进行伴随反向传播。 机制上，作者以统一的一阶变分表述，刻画有无轨迹 KL 惩罚时的价值梯度目标；通过高斯加噪条件下的总体分析解释回归几何，并以子空间分析说明采用干净图像坐标的动机。实现根据奖励连续性调整 rollout 扰动范围和查询权重：平滑奖励使用局部 rollout，离散奖励则通过范围更广的样本组提供对比信息。具体回归求解、采样预算及方向传递方式需核对全文。 作者报告，在五种奖励联合训练条件下，一个 SD3.5-Medium 模型在八项指标中的七项达到或超过 DiffusionNFT 联合模型，GenEval、OCR、PickScore 分别达到 0.94、0.92、23.82，训练计算量约为对照估算值的五分之一。作者另报告，单奖励训练在相同硬件下达到匹配奖励阈值的速度为复现版 DiffusionNFT 的 2.1–6.7 倍。上述两组效率结果的比较条件不同，不能直接等同；评估样本、计算量估算口径及统计不确定性尚未验证。 作者报告消融支持干净图像估计器、直接方向传递及按奖励类型选择 rollout，并提供了代码链接；代码完整性与复现条件尚未验证。原研究对象是图像扩散模型的奖励优化，摘要未涉及神经信号或 BCI，尚无材料支持将这些图像生成结果直接外推为 EEG/BCI 性能提升。