面部伪造视频检测的自然一致性表征学习
Learning Natural Consistency Representation for Face Forgery Video Detection
基于摘要分析。本文研究面部伪造视频检测中的泛化与鲁棒性问题,提出 Natural Consistency(NACO)表征学习方法,利用仅含视觉信息的真实人脸视频进行自监督学习,再微调 MLP 分类头完成伪造视频分类。其核心出发点是:未知伪造方法及不同扰动下的伪造视频仍可能难以保持自然的时空一致性;这一观察属于作者提出的方法依据,而非对所有伪造情形的保证。 机制上,NACO 先用 CNN 提取逐帧空间特征,再用 Transformer 整合长程时空信息。Spatial Predictive Module(SPM)从时空表征预测随机掩码的空间特征;Temporal Contrastive Module(TCM)通过打乱自然时间顺序破坏一致性,并约束时空表征的潜在距离。两者分别从空间预测与时间一致性角度强化表征学习。摘要未提供具体损失形式、掩码与打乱策略,以及分类头微调的数据和标签配置。 作者报告,其方法在所开展实验中优于其他先进对照方法,并具有泛化与鲁棒性优势;但摘要未列出数据集、划分、指标、数值及扰动设置,因此无法判断优势幅度或适用边界。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未验证。 平台推测(待验证):可迁移的机制假设是,空间掩码预测与时间顺序扰动可能帮助 EEG 学习通道间及时间上的结构,而非直接迁移“伪造检测”任务。该假设依赖足量未标注 EEG 及有意义的时序结构;逐帧视觉特征提取需改为适配 EEG 的时空编码,扰动策略也需避免只产生容易识别的拼接伪迹。低信噪比、通道布局差异、跨被试变化和小数据可能使模型学习设备或被试特征。小规模可证伪实验可在固定的跨被试划分下,对比仅空间掩码预测与加入时间扰动的同编码器方案,并保持下游标签预算一致,检验增益是否稳定。已有 EEG 相关工作尚未检索确认;原领域结果不构成 BCI 有效性证据。
值得关注其仅利用真实人脸视频学习时空一致性的自监督机制,尤其是空间掩码预测与时间顺序扰动的互补作用,但泛化与鲁棒性优势仍需核对完整实验协议。
来源:OpenReview · Representation learning · openreview.net