跳到正文
arXiv · 多模态与生成机制· Wenyi Lian; Zheng Zhao; Thomas B. Sch{ö}n·· 2 天前精选AI 评分79

利用噪声再生序贯蒙特卡洛实现文生图 Flow Matching 模型的测试时扩展

Test-Time Scaling of Text-to-Image Flow Matching Models with Noise-Rejuvenated Sequential Monte Carlo

AI 导读

基于摘要分析。本文研究如何为采用确定性 ODE 推理的文生图 Flow Matching 模型引入基于奖励的测试时扩展,提出 noise-rejuvenated SMC,以支持人类偏好评分等用户指定奖励下的生成采样。核心贡献是在不将采样过程转换为 SDE 的情况下,为重采样后的粒子恢复探索能力。 机制上,标准序贯蒙特卡洛(SMC)通常依赖随机提议,难以直接用于确定性 Flow Matching 推理。该方法改变重采样粒子的源噪声,并结合粒子当前的终点估计构造新的中间状态,使扰动后的状态仍可由 Flow Matching 的插值形式表示。作者还引入 look-ahead 机制,在计算权重前进一步细化重采样粒子。摘要未给出具体扰动分布、权重公式、重采样策略或额外计算预算。 作者报告,在 Stable Diffusion 3、FLUX.1-dev 和 Z-Image 的奖励引导生成实验中,该方法取得一致改善,并通过消融验证了噪声再生与 look-ahead 细化的贡献。摘要未提供奖励指标、改善幅度、对照基线及等计算预算比较,实验协议、消融及统计信息尚未验证。来源提供了代码仓库,但代码完整性与复现条件尚未核验。 研究对象是文生图生成推理,并非 EEG 解码或 BCI。其效果依赖 Flow Matching 插值结构、终点估计及可用于加权的奖励信号;当前材料未建立这些条件与 EEG/BCI 任务的具体对应关系,因此不能将文生图收益外推为 BCI 有效性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其在不将确定性 ODE 采样器转换为 SDE 的前提下,通过源噪声更新实现 SMC 粒子探索的机制;作者报告了跨多个文生图模型的收益,但具体评估协议与计算开销尚待全文核对。

来源:arXiv · 多模态与生成机制 · arxiv.org