探索 Flow Matching 奖励反向传播的设计空间

基于摘要分析。本文研究文本到图像 Flow Matching 模型的直接奖励反向传播，提出 FlowBP 框架，将反向轨迹本身作为设计对象，以分析不同代理梯度方案的性能来源与计算代价。主要贡献是统一描述既有方法，并构造兼顾奖励对齐、激活内存与训练可靠性的具体方案。 机制上，完整生成轨迹的求导需要保存大量激活，并可能通过串联 Jacobian 放大梯度；代理方法降低成本，但会引入保真度问题。摘要区分了两类路径：detached 方法在模型推导的干净样本估计上计算奖励，LeapAlign 等 connector 方法则使用单速度区间近似的导数。FlowBP 将这些选择拆为四个设计轴：奖励模型输入、active set、积分权重与桥接耦合，既有直接梯度方法可视为该空间中的特定配置。 FlowBP-Sparse 与 FlowBP-Bridge 通过 Euler 重建消除 connector 残差；FlowBP-Lagrange 通过多支撑点求积针对更小的残差进行设计。三种方案均在实际采样图像上评估奖励，仅保留少量速度函数调用的激活，且至多涉及一个嵌套状态 Jacobian。具体公式、残差定义及内存测量协议尚未验证。 作者报告，在 FLUX.1-dev 上，将端点重建移植到 ReFL 与 DRTune，并保持 active set 和优化器不变，可改善所评估的全部五项指标；摘要未列出指标名称或数值。作者还报告，在 SD3.5-M、FLUX.1-dev 与 FLUX.2-Klein-base 上，所提方案相较既有直接梯度基线改善了偏好指标与整体组合式提示遵循表现。综合对齐收益、训练时间与调参可靠性，作者推荐采用 K = 3 次活跃调用的 FlowBP-Sparse 作为默认方案。 上述结论限于摘要所述文本到图像生成评估，不能直接视为 BCI 效果。奖励模型、提示集、训练与评估划分、数值增益、统计信息及完整消融尚未验证；复现需核对四个设计轴的具体配置与计算预算。摘要未提供 EEG 数据结构或监督目标的具体对应关系，因此不据此提出 EEG 迁移实验；已有 EEG 相关工作尚未检索确认。