面向扩散生成视频检测的多模态伪造表征学习
On Learning Multi-Modal Forgery Representation for Diffusion Generated Video Detection
基于摘要分析。该研究面向扩散模型生成视频的真伪检测,针对现有视频级检测方法偏重人脸伪造、难以覆盖多样语义生成内容的问题,提出 Multi-Modal Detection(MM-Det),并构建 Diffusion Video Forensics(DVF)数据集。主要研究对象是视频取证,而非 EEG 或 BCI。 方法上,MM-Det 从 Large Multi-modal Models(LMMs)的多模态空间生成 Multi-Modal Forgery Representation(MMFR),旨在利用其感知与综合理解能力识别未见伪造内容;同时采用 In-and-Across Frame Attention(IAFA)增强时空域特征,并通过动态融合策略细化用于融合的伪造表征。摘要未说明所用 LMM、模态输入构成、训练方式、损失函数或动态融合的具体实现,这些机制仍需结合全文核对。 作者报告,MM-Det 在 DVF 上取得 state-of-the-art 性能,并称代码与 DVF 已公开。摘要未给出具体指标、对照方法、数据规模、生成器组成或训练测试划分,因此尚不能判断这一优势对应何种评估协议,也不能将其直接视为对未知生成器或跨数据集泛化的验证;实验协议、消融及统计信息尚未验证。 复现时应重点核对 DVF 的来源与划分、未见伪造内容的定义,以及 MMFR、IAFA 和动态融合在相同协议下的独立贡献。现有材料未提供与神经信号任务的具体机制对应,不据此推断 EEG/BCI 有效性。
值得核对 MMFR、帧内与跨帧注意力及动态融合对未见伪造内容检测的各自贡献;作者提供了代码与 DVF 数据集入口,但摘要不足以验证其泛化评估与性能优势。
来源:OpenReview · Representation learning · openreview.net