跳到正文
OpenReview · Representation learning· Yaning Zhang; Jiahe Zhang; Chunjie Ma; Weili Guan; Tian Gan; Zan Gao·· 2025-01-01精选AI 评分73

BMRL:用于零样本深度伪造来源归因的双模态引导多视角表征学习

BMRL: Bi-Modal Guided Multi-Perspective Representation Learning for Zero-Shot Deepfake Attribution

AI 导读

基于摘要分析。本文研究伪造人脸的生成来源归因,针对既有方法主要利用视觉模态、对未见先进生成器的细粒度泛化评估不足的问题,提出零样本深度伪造来源归因(ZS-DFA)基准及解析引导的视觉语言表征学习方法。其主要研究对象是人脸伪造来源追溯,而非 EEG 或 BCI。 核心机制是利用 GAN 与 diffusion 模型生成图像时保留源人脸属性的差异,学习与人脸解析相关的伪造表征。摘要中的方法名为 PVLM:通过 parsing encoder 提取全局人脸属性嵌入,以动态视觉—解析匹配引导归因表征学习;另提出 deepfake attribution contrastive center loss,使相关生成器的表征靠近、无关生成器的表征远离。生成器相关性的定义、损失具体形式,以及文本模态如何参与训练和推理,尚未验证。 评估面向未见先进生成器,包括 diffusion,强调细粒度归因。作者报告,该模型在所提 ZS-DFA 基准的多种协议评估中优于现有先进方法;摘要未提供数据集组成、训练与测试生成器划分、指标、具体分数或对照配置,因此不能量化其优势。实验协议、消融及统计信息尚未验证。 需注意,标题使用 BMRL,而摘要将方法称为 PVLM,两者关系需核对全文。该机制依赖人脸解析及生成器属性保留差异,当前材料未建立与神经信号问题的具体对应关系,不能据此推断其对 EEG/BCI 有效;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是其利用人脸属性保留差异构建解析引导表征、并评估未见生成器归因的机制,但标题与摘要的方法命名不一致,具体性能及协议需全文验证。

来源:OpenReview · Representation learning · openreview.net