面向扩散生成视频检测的多模态伪造表征学习
On Learning Multi-Modal Forgery Representation for Diffusion Generated Video Detection
基于摘要分析。该研究面向扩散生成视频检测,针对现有视频级检测算法主要关注人脸伪造、难以覆盖多样语义生成内容的问题,提出 Multi-Modal Detection(MM-Det),并构建 Diffusion Video Forensics(DVF)数据集。其主要研究对象是视频取证,而非 EEG 或 BCI。 机制上,MM-Det 利用 Large Multi-modal Models(LMMs)的多模态空间生成 Multi-Modal Forgery Representation(MMFR),旨在提升对未见伪造内容的检测能力;通过 In-and-Across Frame Attention(IAFA)在时空域增强特征,再采用动态融合策略整合伪造表征。摘要未说明所用 LMM、输入模态的具体组织方式、参数更新范围、损失函数及融合实现,这些细节尚未验证。 作者报告,MM-Det 在 DVF 上达到最先进性能,并提供源代码与数据集入口。摘要未给出数据规模、生成模型构成、训练与测试划分、评价指标或具体数值,因此尚不能判断其对未见生成器、语义类别或跨数据集条件的泛化程度;实验协议、消融及统计信息尚未验证。 阅读与复现时可重点核对 MMFR、IAFA 和动态融合各自的贡献,以及“未见伪造内容”的具体定义和评估条件。材料未建立视频伪造线索与 EEG/BCI 信号之间的具体机制对应,不能据此推断其适用于神经信号建模;相关 EEG 工作尚未检索确认。
值得关注其利用 LMM 多模态表征、帧内与跨帧注意力及动态融合检测多语义扩散生成视频的机制;作者提供代码与 DVF 数据集入口,但泛化效果与评估协议仍需核对全文。
来源:OpenReview · Representation learning · openreview.net