跳到正文
OpenReview · Representation learning· Hebeizi Li; Hongyu Yang; Di Huang·· 2024-01-01精选AI 评分71

面向 3D 面部表情识别的渐进式自监督表征学习

Progressive Self-supervised Representation Learning for 3D Facial Expression Recognition

AI 导读

基于摘要分析。该研究针对 3D 面部表情识别(FER)数据集规模有限的问题,提出利用外部 3D 数据进行渐进式自监督预训练,再在目标 FER 数据集上微调的方法。主要研究对象是三维人脸点云及表情识别,并非 EEG 或 BCI。 方法以 Point-MAE 为基础,先在大规模 3D 物体点云数据集 ShapeNet 上进行自监督学习,再转向主要用于可变形人脸预测的 FaceScape,并在目标 FER 微调前引入合成数据,以逐步学习由粗到细的表情表征。作者还将人脸先验融入掩码与点采样步骤,使预训练更贴合面部数据特征;先验的具体形式、合成数据生成方式、各阶段训练配置及损失细节尚未验证。 作者报告,该方法在 BU-3DFE 和 Bosphorus 上达到其所称的最先进性能,并达到或超过其他 2D+3D FER 方法。摘要未提供具体指标、数值、数据划分或被试隔离方式,因此不能据此比较被试内与跨被试表现,也不能量化各预训练阶段和先验设计的独立贡献;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 方法研究参考的是“通用数据预训练—领域数据适配—任务微调”的阶段化思路,而非直接复用人脸点云处理。假设其价值来自逐步缩小数据分布差异,EEG 中仍需重新设计信号编码、掩码单位及通道与时间先验;低信噪比、跨被试差异、通道配置变化和小样本可能导致负迁移。一个可证伪的小实验是在固定模型、预训练数据量与训练预算下,比较混合预训练和阶段化预训练的跨被试表现,并单独核对领域先验的增益。该假设不代表已证实的 EEG 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其从通用物体点云到人脸数据的渐进式自监督预训练,以及在人脸先验引导下调整掩码和点采样的机制;性能优势仍需结合全文评估协议核对。

来源:OpenReview · Representation learning · openreview.net