跳到正文
OpenReview · Representation learning· Gaojian Wang; Feng Lin; Tong Wu; Zhenguang Liu; Zhongjie Ba; Kui Ren·· 2025-01-01精选AI 评分76

FSFM:通过自监督面部表征学习构建可泛化的人脸安全基础模型

FSFM: A Generalizable Face Security Foundation Model via Self-Supervised Facial Representation Learning

AI 导读

基于摘要分析。本文研究如何利用大量无标签真实人脸图像,学习可迁移至多种人脸安全任务的表征,提出自监督预训练框架 FSFM,将掩码图像建模(MIM)与实例判别(ID)结合;其主要研究对象是人脸图像,而非 EEG 或 BCI。 机制上,作者提出 CRFR-P 面部掩码策略,旨在同时学习区域内一致性与区域间连贯性;再通过与 MIM 耦合的 ID 网络及定制自蒸馏,建立局部到全局的对应关系。这三项目标合称 3C,用于兼顾真实人脸的局部特征与全局语义。预训练后,以标准 ViT 作为下游人脸安全任务的基础模型。摘要未给出具体掩码构造、损失形式、目标权重或训练规模。 作者报告,在涵盖 10 个公开数据集的实验中,FSFM 在跨数据集 deepfake 检测、跨域人脸防伪及未见扩散模型人脸伪造检测任务上,比有监督预训练、通用视觉及面部自监督学习方法具有更好的迁移表现,并优于任务专用 SOTA 方法。摘要未提供数据集名称、划分、指标、分数及逐任务对照,因此不能据此量化优势或判断各协议下的改进幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可考察的跨领域假设是,将区域内、区域间及局部—全局约束用于 EEG 自监督学习,可能有助于关联局部时空模式与全局表征,但这并非本文已验证的结论。原方法依赖人脸区域结构和大量无标签真实图像;迁移时需重新定义 EEG 通道或时间片区域、掩码及增强方式,不能直接沿用面部语义划分。低信噪比、跨被试差异、通道配置变化与小数据均可能使区域对应失效。可在固定数据划分与相同骨干下,小规模比较随机掩码、EEG 区域掩码及加入局部—全局自蒸馏的方案,检验跨被试迁移是否改善。相关 EEG 工作尚未检索确认。

阅读价值

值得核对其面部区域掩码与局部—全局自蒸馏如何共同改善人脸安全任务的跨域泛化,但摘要不足以验证各机制的独立贡献及向 EEG 的适用性。

来源:OpenReview · Representation learning · openreview.net