跳到正文
OpenReview · State space models· Jing Zhao; Heliang Zheng; Chaoyue Wang; Long Lan; Wanrong Huang; Yuhua Tang·· 2025-01-01精选AI 评分75

MagicNaming:通过在 T2I 扩散模型中寻找“姓名空间”实现身份一致性生成

MagicNaming: Consistent Identity Generation by Finding a "Name Space" in T2I Diffusion Models

AI 导读

该研究面向文本到图像(T2I)扩散模型中的人物身份一致性生成,探索能否像使用名人姓名一样,用一个嵌入表示控制普通人物身份。核心贡献是提出 MagicNaming:利用名人姓名的文本嵌入作为监督,学习将输入人脸映射到可用于生成的“姓名嵌入”。基于摘要分析,未取得论文全文。 方法上,作者使用扩散模型的文本编码器,提取 Laion5B 中名人姓名的嵌入,并据此训练一个根据人脸图像预测姓名嵌入的编码器。其“姓名空间”假设是,空间中的不同点可以对应不同身份,从而将已有的姓名条件生成能力扩展到普通人物,而不只依赖模型已知的名人姓名。摘要未提供编码器结构、损失形式或训练样本构建细节。 作者报告,预测的姓名嵌入能够支持较好的生成身份一致性,并与文本输入的语义解耦,从而较好保留原有文本到图像生成能力。作者还报告,在同一基础模型 SDXL 衍生的模型版本中,可通过接入这些嵌入获得身份感知生成能力,并以 Civitai 上的衍生版本为例;这不等于已证明能够跨不同基础模型通用。 摘要未给出评估数据划分、身份一致性指标、文本遵循度指标或对照结果,实验协议、消融及统计信息尚未验证。复现时需核对姓名与人脸的监督配对方式、嵌入注入位置,以及跨身份和跨模型版本的评估范围。该工作的主要研究对象是人物图像生成,现有材料未建立与 EEG 或 BCI 的具体机制对应,不据此推断其神经信号应用效果。

阅读价值

值得关注其以名人姓名文本嵌入监督人脸编码器、复用同一基础模型衍生版本的身份控制机制,但身份一致性与生成能力保留的定量证据尚未验证。

来源:OpenReview · State space models · openreview.net