跳到正文
arXiv · 多模态与生成机制· Jingjing Ren; Haitian Zheng; Haoyu Chen; Connelly Barnes; Zhifei Zhang; Yuqian Zhou; Zhe Lin; Lei Zhu·· 2 天前精选AI 评分79

UltraDiff:将高保真先验迁移至压缩潜空间以实现高分辨率图像生成

UltraDiff: Transferring High-Fidelity Priors to Compressed Latent Spaces for High-Resolution Image Generation

AI 导读

基于摘要分析。UltraDiff 研究高分辨率图像生成中 Latent Diffusion Models(LDMs)的计算成本与生成保真度权衡,提出先联合学习不同压缩率的潜空间分布,再通过边缘分数蒸馏,将高保真先验迁移至高压缩潜空间。其主要研究对象是图像生成,而非 EEG 或 BCI。 方法以压缩因子 f 区分潜空间:相较于 f8,f32 可降低计算成本,但存在更严重的信息损失与生成歧义。作者提出双分支 DiT 教师 MixTeacher,建模 f8–f32 联合分布,通过共享注意力利用 f8 先验缓解 f32 空间的歧义;随后在原生 f32 空间进行向量场蒸馏。作者从理论上主张,该过程使学生学习教师轨迹的条件期望,从而过滤压缩伪影。具体损失形式、理论成立条件与训练配置尚未验证。 作者报告,在所评估的 1K 至 4K 图像生成设置中,UltraDiff 接近 f8 模型的画质,同时保留 f32 的效率;在单张 A100 GPU、20 个采样步条件下,生成一张 2K 图像耗时 6.2 秒,较作者的 f8 基线快 40 倍以上。摘要未提供画质指标、评估数据集及完整基线配置,不能据此判断不同设置下的画质等效性或普遍加速幅度;实验协议、消融及统计信息尚未验证。 该机制依赖不同压缩率潜表示之间的联合学习与教师先验。摘要尚未建立其与 EEG 低信噪比、跨被试差异或小样本学习之间的具体对应关系,因此不据此推断 BCI 有效性;已有 EEG 相关工作尚未检索确认。复现图像生成结果需进一步核对潜空间编码方式、教师与学生训练流程、蒸馏成本,以及画质和计时的统一评估条件。

阅读价值

值得关注其通过联合潜空间建模与原生压缩空间向量场蒸馏分离高保真先验和推理成本的机制,但摘要中的画质与加速结论仍需结合完整评估协议核对。

来源:arXiv · 多模态与生成机制 · arxiv.org