跳到正文
arXiv · 多模态与生成机制· Reyhaneh Esmailizadeh; Xingjian Leng; Zhanhao Liang; Liang Zheng·· 20 小时前AI 评分61

在 4 张消费级 GPU 上进行犬种文生图 Flow Matching:从预训练到微调

Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning on 4 Consumer GPUs

AI 导读

基于摘要分析。本文研究如何在消费级 GPU 上完成限定犬种领域的文生图模型预训练与微调,提出 MiniDog 框架,以小型 diffusion transformer、预计算特征和训练加速组件降低计算开销;其主要研究对象是图像生成,而非 EEG 或 BCI。 数据方面,作者使用 ImageNet 中的 26k 张犬类图像并为其生成描述,用于预训练;另使用 FLUX.1-schnell 生成的 2k 张图像进行微调。图像与文本特征被预先计算并缓存。架构采用 E2E-INVAE 的语义潜空间、参数量为 22M 的小型 transformer、小型 Qwen 文本编码模型及 in-context conditioning;训练使用 iREPA 和 EUPE perception encoder 加速。摘要未展开这些组件的具体实现、Flow Matching 的目标函数及训练配置,尚不能核实各组件的独立贡献。 作者报告,在四张 3090 GPU 上,预训练耗时 55 分钟,随后微调耗时 15 分钟。这些数字对应上述限定领域与数据规模,不能外推为通用文生图基础模型的训练成本;计时是否包含描述生成、合成数据生成、特征预计算及评估,尚未验证。 摘要称仓库支持 FID、HPSv2 score、PickScore 和多种 VAE 重建指标,但未提供实际指标值,因此目前只能确认作者描述了评估工具支持,不能据此判断生成质量或相对基线优势。实验协议、数据划分、消融及统计信息尚未验证,复现还需核对配置、缓存生成流程及组件权重的可用性。材料未提供与 EEG/BCI 的具体机制对应或实验依据,不据此推断 BCI 有效性。

来源:arXiv · 多模态与生成机制 · arxiv.org