跳到正文
arXiv · 多模态与生成机制· Dinh-Khoi Vo; Akihiro Sugimoto; Minh-Triet Tran; Trung-Nghia Le·· 4 天前精选AI 评分77

Kingfisher:通过尺度感知的提示条件尺度分解实现快速个性化视觉自回归生成

Kingfisher: Fast Personalized Visual Autoregressive Generation via Scale-Aware Prompt-Conditioned Scale Decomposition

AI 导读

基于摘要分析。该研究面向个性化图像生成,提出 Kingfisher:不调整生成器参数,而是分解并重组视觉自回归模型的早期尺度码,将两张真实图像中的内容与风格组合为生成前缀,再由冻结生成器完成后续细化。 核心机制:作者观察到,自回归生成中一小段早期尺度码即可强烈影响物体结构与整体外观,后续尺度主要沿既定生成轨迹细化。Kingfisher 利用提示条件的尺度码子空间,将早期残差尺度码分解为内容相关和风格相关成分;随后组合一张图像的内容成分与另一张图像的风格成分,形成紧凑语义前缀。冻结生成器通过 bitwise self-correction 预测剩余尺度。与依赖主体专属权重、文本嵌入、LoRA 或适配器优化的个性化路线相比,其方法特点是直接操作生成器原生尺度空间表示,而非调优模型。 结果:在 CSD-100 实验中,作者报告该方法具有较强的内容保持能力,并在所评估方法中获得最高的风格与文本对齐表现;与所比较的扩散方法和 VAR 方法相比,图像配对专属准备阶段分别约快 54 倍和 7.5 倍。这些数字仅对应摘要所述的配对准备阶段,不能等同于端到端生成加速;具体指标、对照方法、硬件与计时边界尚未验证。 复现关注点包括提示条件子空间的构造方式、内容与风格分量的分解准则、早期尺度的选择,以及 bitwise self-correction 的具体实现。实验协议、消融及统计信息尚未验证。该研究的主要对象是图像内容与风格重组,摘要未建立与 EEG 或 BCI 的具体机制对应,因此不据此推断神经信号生成或解码效果。

阅读价值

值得核对其以早期尺度码分解实现免模型调优个性化生成的机制,尤其是内容与风格解耦的可靠性,以及配对准备时间加速所对应的计时范围和对照条件。

来源:arXiv · 多模态与生成机制 · arxiv.org