OpenReview · State space models· Dvir Samuel; Rami Ben-Ari; Nir Darshan; Haggai Maron; Gal Chechik·· 2023-01-01精选AI 评分77
用于文本到图像生成的范数引导潜在空间探索
Norm-guided latent space exploration for text-to-image generation
AI 导读
基于摘要分析。本文研究文本到图像扩散模型中初始随机种子的潜在空间几何,提出考虑种子范数先验的插值与质心计算方法,旨在改善稀有概念图像生成,并服务于少样本与长尾学习任务。 核心机制是:作者观察到,现有训练流程中模型接触的输入范数集中在较窄范围,因此使用标准欧氏或球面度量进行种子插值、求取质心,可能无法充分反映模型训练时的输入分布。作者据此提出新的种子插值方法,并称其定义了一种纳入范数先验的非欧氏度量;进一步给出近似实现该插值过程的算法,并以此定义潜在种子空间中的质心。研究对象是生成模型的初始种子操作,而非 EEG 解码或 BCI 算法。 作者报告,新插值与质心方法改善了稀有概念图像生成,并在所评估的少样本与长尾基准上取得优于既有方法的表现,涉及生成速度、图像质量与语义内容。摘要未列出具体基准、数据划分、对照方法、指标或数值,因此这些优势的适用范围与幅度尚未验证。 复现时需核对范数先验的具体形式、非欧氏度量及近似算法的定义、质心求解方式,以及所用扩散模型与采样设置。实验协议、消融及统计信息尚未验证。材料未建立该种子空间机制与 EEG 数据结构或 BCI 任务之间的具体对应关系,不能据此推导 BCI 有效性;相关 EEG 工作尚未检索确认。
阅读价值
值得核对其如何将初始种子的范数先验转化为插值与质心计算规则,以及这些操作对稀有概念生成的独立贡献;摘要未提供足以验证性能优势的实验细节。
来源:OpenReview · State space models · openreview.net