跳到正文
OpenReview · Representation learning· Tao Gong; Dayong Wang; Qi Chu; Bin Liu; Nenghai Yu·· 29 天前精选AI 评分70

用于扩散模型生成图像检测的跨模态表征学习

Cross-modal Representation Learning for Diffusion-generated Image Detection

AI 导读

基于摘要分析。本文研究扩散模型生成图像的真伪检测,针对通用视觉骨干偏向高层语义、并非专为伪造检测设计的问题,联合 RGB 与 Neighboring Pixel Relationships(NPR,邻近像素关系)两种表征,通过跨模态学习构建面向伪造线索的嵌入空间。 作者认为 NPR 能捕获内在伪造线索,并提出两种协同机制:Cross-Modal Contrastive Learning(CMCL)用于增强真实图像与生成图像之间的特征可分性;Cross-Modal Mutual Distillation(CMMD)用于在两种模态间相互传递知识,并促进类内特征紧凑。这里的“跨模态”具体指 RGB 与像素关系表征,不涉及神经信号。摘要未提供 NPR 的具体计算方式、对比样本构造、蒸馏目标或训练与推理流程。 作者报告,在 GenImage、DRCT-2M 和 Co-Spy-Bench 数据集的实验中,该方法取得最先进结果;但摘要未给出指标数值、数据划分、对照方法或具体评估协议,因此尚不能判断优势幅度及适用范围。实验协议、消融及统计信息尚未验证,复现还需核对骨干配置、两种学习机制的独立贡献,以及代码和训练资源的可获得性。 本文的主要对象是图像伪造检测,而非 EEG 或 BCI。现有材料未提供像素关系伪造线索与神经信号建模之间的具体对应机制,不据此推断 BCI 有效性;相关 EEG 工作尚未检索确认。

阅读价值

值得关注 RGB 与 Neighboring Pixel Relationships 的互补表征如何通过对比学习和相互蒸馏协同优化,但其泛化优势仍需结合全文中的数据划分、基线及消融验证。

来源:OpenReview · Representation learning · openreview.net