面向文本到图像生成的范数引导潜空间探索
Norm-guided latent space exploration for text-to-image generation
基于摘要分析。本文研究文本到图像扩散模型中初始噪声种子潜空间的几何结构,提出考虑种子范数先验的非欧氏插值方法及相应质心计算,用于改善少样本与长尾场景下的稀有概念图像生成。 核心机制是:作者观察到,现有训练过程中扩散模型接触的输入范数集中在较窄范围,因此按标准欧氏或球面度量进行种子插值、计算质心,可能无法充分反映模型训练时的输入分布。论文据此提出两种子间的插值方法;作者称该方法定义了一种纳入范数先验的新非欧氏度量,并给出简单高效的近似算法,进一步用于定义种子潜空间的质心。摘要未提供度量公式、近似误差或具体实现条件。 作者报告,新插值与质心方法显著改善稀有概念图像生成,并在其少样本与长尾基准评估中达到当时最先进的表现,相较既有方法改善生成速度、图像质量和语义内容。摘要未列出基准名称、数据划分、对照方法、指标或具体数值,因此这些结论的适用范围、实验协议、消融及统计信息尚未验证。 该研究的主要对象是图像扩散模型的初始种子几何,而非神经信号解码或 BCI。其机制依赖扩散模型输入的范数分布,不能据此直接推导 EEG 表征也具有同样结构;现有材料不足以建立具体迁移路径,尚未检索确认已有 EEG 相关工作。复现时应优先核对范数先验的估计方式、非欧氏插值及质心算法、所用生成模型,以及质量与速度比较的评估条件。
值得核对其如何将初始噪声种子的范数先验引入非欧氏插值与质心计算,以及这些操作在稀有概念图像生成中的收益;摘要尚不足以判断其对 EEG 或 BCI 的适用性。
来源:OpenReview · State space models · openreview.net