跳到正文
OpenReview · State space models· Dvir Samuel; Rami Ben-Ari; Nir Darshan; Haggai Maron; Gal Chechik·· 2023-01-01精选AI 评分77

用于文本到图像生成的范数引导潜在空间探索

Norm-guided latent space exploration for text-to-image generation

AI 导读

基于摘要分析。本文研究文本到图像扩散模型中初始噪声种子的潜在空间几何,提出考虑种子范数先验的插值方法,并据此定义质心,以改善稀有概念图像生成及少样本、长尾学习任务。 核心机制是:作者观察到,现有训练流程中模型接触的输入范数集中在较窄范围,因此标准欧氏或球面度量下的种子插值与质心计算可能无法适应该分布约束。作者提出新的插值方法,称其定义了一种纳入范数先验的非欧氏度量,并提供简单、高效的近似算法,再将其用于潜在种子空间的质心计算。摘要未给出度量公式、近似误差或具体生成流程,这些细节尚未验证。 作者报告,新插值与质心方法改善了稀有概念图像生成,并在所评估的少样本与长尾基准上取得领先表现,在生成速度、图像质量和语义内容方面优于此前方法。摘要未提供基准名称、数据划分、对照方法或量化指标,实验协议、消融及统计信息尚未验证,不能据此判断收益大小及适用范围。 本文的主要对象是图像扩散模型的种子空间,而非 EEG 或 BCI 解码。平台推测(待验证):若 EEG 条件生成模型同样使用具有集中范数分布的初始噪声,或可检验这种插值几何是否有助于保持生成信号的条件一致性;可复用部分是种子插值与质心算法,需改造的是 EEG 条件接口和信号评估。该假设依赖实际噪声分布与训练流程,低信噪比、跨被试差异及小数据可能使图像领域收益无法迁移。小规模检验可固定同一 EEG 生成模型与数据划分,仅替换种子插值规则,对比条件一致性和信号统计特征;不能仅凭波形外观判断有效性。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其如何将初始噪声种子的范数先验转化为插值与质心计算规则,以及该几何约束对稀有概念图像生成的实际贡献;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net