跳到正文
OpenReview · State space models· Souhaib Attaiki; Paul Guerrero; Duygu Ceylan; Niloy J. Mitra; Maks Ovsjanikov·· 2025-12-31精选AI 评分74

GANFusion:在 GAN 空间中进行扩散的前馈文本到三维生成

GANFusion: Feed-Forward Text-to-3D with Diffusion in GAN Space

AI 导读

基于摘要分析。GANFusion 研究仅依靠单视角 2D 数据监督的文本条件三维人体角色生成,将 GAN 学习三维表示的能力与扩散模型的文本条件生成能力结合,目标是实现无需测试时优化的前馈 text-to-3D 生成。 核心机制分为两个阶段:首先,以单视角 2D 数据监督训练 GAN,生成不带文本条件的 triplane(三平面)特征;随后,从该 GAN 随机采样并为样本生成文字描述,用这些配对材料训练文本条件扩散模型。扩散模型学习在可解码为三维对象的 triplane 特征空间中采样,而非直接从原始 2D 监督学习三维生成。文字描述的生成方式、特征解码器、损失形式及训练配置尚未验证。 作者将这一设计的动机归结为两类生成模型的互补性:GAN 可利用 2D 监督学习高质量三维对象,但文本条件控制较困难;扩散模型易于引入条件,却较难仅凭 2D 监督完成三维生成训练。该方法把三维表示学习与文本条件采样分开处理,阅读重点在于这种分阶段建模能否兼顾三维质量、生成多样性与文本一致性。 作者报告,在文本条件全身人体生成评估中,所提方法优于所比较的替代方案。摘要未提供数据集、划分、对照方法名称、指标或数值,因此尚不能判断改善幅度及适用范围;实验协议、消融及统计信息尚未验证。复现还需核对 GAN 样本及描述的构建流程、两阶段训练成本和三维解码条件。 本文的主要研究对象是三维人体角色生成,并非 EEG/BCI。材料未提供其三维表示与神经信号任务之间的具体对应关系,不据此推断 BCI 有效性,也不提出迁移实验建议;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其将单视角 2D 监督下的三维表示学习与文本条件生成拆分为 GAN 和扩散模型两个阶段的机制,但效果幅度与复现条件仍需全文核对。

来源:OpenReview · State space models · openreview.net