跳到正文
OpenReview · Representation learning· Daichi Zhang; Zihao Xiao; Shikun Li; Fanzhao Lin; Jianmin Li; Shiming Ge·· 2024-12-31精选AI 评分71

学习自然一致性表征用于人脸伪造视频检测

Learning Natural Consistency Representation for Face Forgery Video Detection

AI 导读

基于摘要分析。本文研究人脸伪造视频检测中的泛化与鲁棒性问题,提出 Natural Consistency(NACO)表征学习方法:仅利用真实人脸视频进行自监督学习,再微调 MLP 分类头完成伪造视频分类,不依赖音频或其他模态辅助任务。 核心假设是,伪造视频即使来自未知伪造方法或受到不同扰动,也难以保持真实视频的自然时空一致性。NACO 先通过 CNN 提取逐帧空间特征,再利用 Transformer 学习长程时空表征。Spatial Predictive Module(SPM)从时空表征预测随机掩码的空间特征;Temporal Contrastive Module(TCM)通过打乱自然时间顺序破坏一致性,并约束时空表征的潜在距离。两者旨在提高表征对自然时空一致性的敏感性,但摘要未给出具体损失形式与样本构造细节。 作者报告,该方法在所开展实验中优于其他先进对照方法,并具有较好的泛化与鲁棒性;摘要未列出数据集、划分协议、评价指标或具体数值,因此尚不能判断优势幅度与适用范围。实验协议、消融及统计信息尚未验证,预训练与分类头微调的数据关系、扰动设置及复现条件也需查阅全文。 平台推测(待验证):可迁移的机制假设是,将空间掩码预测与时间顺序扰动用于 EEG 自监督表征学习。原方法依赖真实人脸视频的空间结构与自然时序,不能原样等同于 EEG 的通道结构和神经动态。迁移需改造空间编码与掩码单元,并检验时间打乱是否会破坏任务相关信息;低信噪比、跨被试差异、通道配置变化及小数据可能使模型主要学习伪迹或采集特征。一个可证伪的小实验是在固定跨被试划分下,比较相同骨干的掩码预测与加入时间顺序约束后的下游表现,核对增益是否稳定。相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是仅用真实人脸视频学习时空一致性的自监督机制,以及空间掩码预测与时间顺序扰动的组合;其泛化优势仍需核对完整实验,不能直接视为 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net