跳到正文
OpenReview · State space models·· 25 天前精选AI 评分80

面向低 NFE Flow Matching 的训练状态塑形:跨求解器的性能提升与更优的蒸馏耦合

Training-State Shaping for Low-NFE Flow Matching: Gains Across Solvers and Better Couplings for Distillation

AI 导读

基于摘要分析。本文研究图像生成中 Flow Matching 的训练插值路径与学习到的速度场所产生的生成轨迹之间的差异,提出后训练方法 training-state shaping(TSS),旨在改善少步采样,并提高教师生成样本对用于蒸馏时的数据效率。主要研究对象是像素空间与潜空间的图像生成,而非 EEG 或 BCI。 机制方面,对通过干净图像预测获得速度的像素空间模型,TSS 使用指数移动平均(EMA)模型重塑训练输入,同时保留干净目标;对直接预测速度的模型,则为每条塑形后的路径配对其精确切向量。摘要未提供塑形公式、具体损失或后训练日程。在潜空间实验中,作者报告,训练时间的确定性重参数化可以解释大部分收益,提示需要区分状态塑形与时间参数化各自的作用。 生成结果方面,作者报告,在 ImageNet 上,TSS 在多个 JiT 模型规模及求解器下改善低 NFE 生成;其中 JiT-H/16 配合 DPM++2M,在 10 和 20 NFE 下的 FID 分别为 6.65 和 4.24。NFE 表示函数评估次数,不宜直接等同于采样步数;摘要未给出对应基线 FID、评估样本数及重复实验信息。 蒸馏方面,作者在每个来源固定使用 200k 样本对、学生训练配方匹配的条件下报告:使用塑形教师数据的 reflow 与 flow-map 学生达到目标 FID 所需更新更少;固定批大小时,也意味着样本呈现次数更少。该比较覆盖多个目标 FID 和两组教师配对。摘要另称,原始 flow-map 扩展在 100k 次更新时达到相近的单次调用 EMA 质量。独立的数据池前缀实验显示,较少的 TSS 样本对可优于更大的原始数据池;端点 FID 匹配对照则表明,仅凭端点 FID 不能排序教师数据的下游价值。 复现需核对路径与切向量构造、时间重参数化、教师配对方式、数据池生成条件、学生配方及计算成本。实验协议、消融及统计信息尚未验证,代码与权重可用性亦尚未验证。材料未提供 EEG/BCI 实验,不能将图像生成收益视为神经信号建模的有效性证据。

阅读价值

值得核对 TSS 如何缩小训练路径与生成轨迹的差异,以及端点 FID 匹配后教师数据的蒸馏价值是否仍有差异;摘要提供了低 NFE 采样与固定数据池对照,但具体协议尚未验证。

来源:OpenReview · State space models · openreview.net