具有面部区域感知能力的自监督面部表征学习
Self-Supervised Facial Representation Learning with Facial Region Awareness
基于摘要分析。本文研究自监督预训练能否学习适用于多种面部分析任务的通用表征,提出 Facial Region Awareness(FRA),同时学习全局与局部面部表征。其核心是通过可学习热图提取面部区域表征,并约束不同视图间对应局部表征的一致性,而非仅将整张人脸作为一致性学习单元。 机制上,FRA 利用注意力机制及可学习位置嵌入生成 facial mask embeddings,再计算其与特征图逐像素投影之间的余弦相似度,得到突出面部区域的热图。作者将 facial mask embeddings 的学习表述为深度聚类问题,将像素特征分配给这些嵌入,以学习区域划分。摘要未给出具体损失形式、视图构造或全局与局部目标的组合方式。 作者报告,在面部分类和回归任务的迁移评估中,FRA 优于此前的预训练模型;使用 ResNet 作为不同任务的统一骨干网络时,取得与相关面部分析 SOTA 方法相当或更好的表现。摘要未提供数据集、划分、指标及具体数值,因此这些结论仅限于作者概括的评估背景,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可借鉴之处是“学习区域分配,再约束跨视图局部一致性”,而不是将人脸分析结果直接视为 BCI 证据。若用于 EEG,需将图像像素与面部区域改造为具有空间或时频结构的信号单元,重新定义位置嵌入、区域分配和保留任务信息的视图增强。潜在风险包括低信噪比导致聚类追随伪迹、通道布局与被试差异破坏区域对应,以及小数据下区域分配不稳定。可检验的假设是:在相同骨干、训练数据和跨被试划分下,加入可学习区域一致性比仅用全局一致性改善下游表现;可通过随机区域对照检验收益是否确实来自区域结构。已有 EEG 相关工作尚未检索确认。
值得关注的是 FRA 将整图表征一致性扩展到可学习面部区域的跨视图一致性,为研究局部结构如何改善自监督迁移提供了具体机制,但其性能优势及 EEG 适用性仍需分别验证。
来源:OpenReview · Representation learning · openreview.net