具有面部区域感知的自监督人脸表征学习
Self-Supervised Facial Representation Learning with Facial Region Awareness
基于摘要分析。本文研究自监督预训练能否学习适用于多种人脸分析任务的通用表征,提出 Facial Region Awareness(FRA),在图像级一致性之外,通过跨视图匹配局部面部区域表征,同时学习全局与局部一致的人脸表征。 机制上,FRA 使用可学习热图突出面部区域,并据此提取局部表征。热图由特征图逐像素投影与 facial mask embeddings 之间的余弦相似度得到;这些嵌入由可学习位置嵌入计算,并借助注意力机制在整幅人脸图像中查找区域。作者进一步将 facial mask embeddings 的学习建模为深度聚类问题,把特征图中的像素特征分配给这些嵌入。其关键区别是显式约束局部区域在不同视图间的一致性,而非仅把整张人脸作为匹配单位;具体损失形式与视图构造尚未验证。 作者报告,在人脸分类与回归任务的迁移学习评估中,FRA 优于此前的预训练模型;在以 ResNet 为统一骨干的多任务评估中,与人脸分析 SOTA 方法相比取得相当或更好的表现。摘要未提供数据集、划分、具体基线或指标数值,实验协议、消融及统计信息尚未验证,不能据此量化收益或确认各组件贡献。 平台推测(待验证):可检验的迁移假设是,区域表征匹配可能帮助 EEG 自监督学习保留局部空间结构,但原方法依赖具有稳定面部布局的图像,不能直接视为 EEG 方法。迁移时可复用区域分配与跨视图一致性思路,需将像素热图改造为适配电极拓扑的区域权重,并设计保持神经信号语义的视图增强;低信噪比、跨被试空间差异、通道缺失及小数据可能导致区域分配不稳定。一个小规模检验是在固定数据划分、骨干和增强条件下,对比仅全局一致性与加入区域一致性的 EEG 预训练,并检查区域分配稳定性及下游效果。已有 EEG 相关工作尚未检索确认。
值得关注的是 FRA 以可学习区域热图建立跨视图局部表征一致性,可用于考察全局自监督目标之外的区域结构收益,但摘要中的效果证据限于人脸分析任务。
来源:OpenReview · Representation learning · openreview.net