跳到正文
arXiv · 多模态与生成机制· Yang Yue; Fangyun Wei; Yitong Wang; Jinjing Zhao; Henry Zheng; Dong Chen; Gao Huang·· 22 小时前精选AI 评分77

RoAR-VAE:通过鲁棒预测提升潜表示的扩散可学习性

RoAR-VAE: Improving Latent Diffusability through Robust Prediction

AI 导读

基于摘要分析。本文研究视觉 tokenizer 如何在保留图像重建保真度的同时,产生更易被下游扩散模型学习的潜表示,提出以鲁棒预测为核心的 Robust Alignment and Reconstruction VAE(RoAR-VAE)。其原则是:与生成相关的信息应在潜表示受到扰动后仍可恢复。 方法动机来自对 REPA-E 的重新分析:作者报告,在匹配设置下,移除其扩散目标和专用生成模块、仅保留从受扰潜表示预测语义特征的训练,仍可获得相近的下游生成表现。RoAR-VAE 据此结合两个互补目标:RobustAlign 从受扰潜表示预测预训练语义特征,以保留高层结构;RobustRecon 从受扰潜表示重建干净图像,以保留细粒度空间及外观信息。扰动方式、目标函数具体形式、预训练特征来源和训练流程尚未验证。 机制方面,作者分析认为,鲁棒预测使有用信息在高方差潜在方向上更易被读取,而扩散模型倾向于更早学习这些方向。该解释仍需结合正文中的测量方式与对照实验核对,不宜据摘要视为普遍成立的因果结论。 结果方面,作者报告,在相同训练预算下,RoAR-VAE 的平均生成基准表现较最强基线 tokenizer 提高 2.19 个评分点;小文本重建 Accuracy 较 FLUX.1-VAE 提高 16.93 个百分点。摘要未列明生成基准、评分尺度、数据划分及小文本评估设置,因此两项结果应分别理解,不能直接比较或外推。实验协议、消融及统计信息尚未验证。 该研究的主要对象是图像潜表示与下游扩散生成,并非 EEG 或 BCI。摘要尚未提供神经信号任务中的验证,也不足以确定具体迁移路径;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其通过受扰潜变量预测语义与重建图像来改善扩散模型可学习性的机制,以及相同训练预算下生成质量与重建保真度的权衡,但摘要不足以验证具体评估协议。

来源:arXiv · 多模态与生成机制 · arxiv.org