面向扩散生成视频检测的多模态伪造表征学习
On Learning Multi-Modal Forgery Representation for Diffusion Generated Video Detection
基于摘要分析。研究针对扩散模型生成视频的真伪检测,提出 Multi-Modal Detection(MM-Det),试图克服以人脸伪造为主要对象的既有检测方法对多样语义内容适应不足的问题;同时构建 Diffusion Video Forensics(DVF)数据集。 方法上,MM-Det 从 Large Multi-modal Models(LMMs)的多模态空间生成 Multi-Modal Forgery Representation(MMFR),以利用其感知与综合理解能力识别伪造内容;通过 In-and-Across Frame Attention(IAFA)增强时空域特征,并以动态融合策略整合伪造表征。摘要未交代 LMM 的具体选择、输入模态组织、训练目标、参数更新方式及动态融合实现,这些机制细节尚未验证。 作者报告,MM-Det 在 DVF 上取得 state-of-the-art 表现,并将检测未见伪造内容作为方法目标。摘要未给出具体指标、分数、对照方法、数据规模,以及生成模型和内容的训练测试划分,因此尚不能判断其对未见生成器或未见语义的泛化程度。实验协议、消融及统计信息尚未验证。材料提供了源码与 DVF 的公开地址,但其可获取性、依赖环境及复现完整性尚未核验。 该研究的主要对象是扩散生成视频取证,并非 EEG 或 BCI。摘要中的多模态表征与时空注意力尚未形成针对神经信号的具体机制对应,不据此推断其具有 EEG/BCI 有效性;已有 EEG 相关工作尚未检索确认。
值得核对其如何结合 LMM 多模态表征、帧内与跨帧注意力及动态融合来检测未见伪造内容,但摘要不足以确认泛化协议及各模块的独立贡献。
来源:OpenReview · Representation learning · openreview.net