跳到正文
OpenReview · Representation learning· Gaojian Wang; Feng Lin; Tong Wu; Zhenguang Liu; Zhongjie Ba; Kui Ren·· 2024-01-01精选AI 评分77

FSFM:通过自监督人脸表征学习构建可泛化的人脸安全基础模型

FSFM: A Generalizable Face Security Foundation Model via Self-Supervised Facial Representation Learning

AI 导读

基于摘要分析。该研究面向人脸安全,探索如何利用大量无标签真实人脸图像,学习能够泛化到不同安全任务的表征。作者提出自监督预训练框架 FSFM,将掩码图像建模(MIM)与实例判别(ID)结合,使预训练后的标准 ViT 用于多种下游人脸安全任务,而非直接研究 EEG 或 BCI。 机制上,作者探索了不同的人脸掩码策略,并提出 CRFR-P masking,旨在促使模型学习区域内一致性与区域间连贯性;同时,通过与 MIM 耦合的 ID 网络及定制自蒸馏,建立局部到全局的对应关系。摘要将上述三个学习目标合称为 3C,用于同时编码局部特征与全局语义。具体掩码构造、损失形式、蒸馏目标及训练配置尚未验证。 作者报告,在涵盖 10 个公开数据集的实验中,FSFM 在跨数据集 deepfake detection、跨域 face anti-spoofing 和未见 diffusion facial forgery detection 等任务上,相较监督预训练、视觉及人脸自监督学习方法具有更好的迁移表现,并超过部分任务专用的 SOTA 方法。摘要未提供数据集名称、具体划分、指标数值及逐项对照,不能据此量化优势;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可迁移点是利用区域内一致性、区域间关系与局部到全局自蒸馏学习无标签表征,可能对应 EEG 局部时空结构与整体状态表征的需求,但这一假设依赖于 EEG 中存在可稳定利用的区域对应关系。可考虑复用掩码建模与自蒸馏思路,需重新设计适配通道、时间片及电极布局的掩码和输入表示;人脸空间结构的稳定性不能直接类推到跨被试 EEG,低信噪比、通道变化和小数据可能使一致性目标学习到伪迹或个体特征。一个小规模可证伪实验是在相同 EEG 数据、骨干与预训练预算下,对比仅掩码建模与加入区域关系及局部到全局目标的跨被试表现,并核对增益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将区域掩码建模与局部到全局自蒸馏结合的表征学习机制;作者报告了多类人脸安全任务上的迁移优势,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net