跳到正文
OpenReview · Representation learning· Fanglei Xue; Yifan Sun; Yi Yang·· 2023-01-01精选AI 评分75

基于对比式局部形变的无监督面部表情表征学习

Unsupervised Facial Expression Representation Learning with Contrastive Local Warping

AI 导读

该研究针对无监督面部表情表征学习,提出 ContraWarping:利用全局变换与局部形变构造对比学习样本,使表征关注表情相关变化,并用于面部表情识别和图像检索。基于摘要分析,未取得论文全文。 核心机制是区分两类增强的语义作用:作者认为,仿射变换、颜色扰动等全局变换通常保留情绪表情,而随机局部形变可能改变表情。因此,方法以全局变换构造正样本,以局部形变构造负样本。作者报告,仅将全局变换产生的正样本对用于 BYOL 等通用自监督方法,已能获得有用特征;加入局部形变负样本后,表情相关变化被显式引入,性能进一步改善。具体损失形式、形变区域与强度、采样方式尚未验证。 作者报告,直接使用 ContraWarping 特征进行线性探测,在 RAF-DB 上取得 79.14% Accuracy;摘要列出的全监督对应结果为有预训练时 88.92%、无预训练时 84.81%。这些结果的训练数据、划分、骨干网络及预训练设置尚未验证,不能据此认定各设置完全可比。摘要还提及图像检索,但未提供该任务的定量指标。 复现时应重点核对局部形变是否稳定产生表情语义变化、是否引入可被模型利用的形变伪迹,以及相对仅使用全局增强的增益。实验协议、消融及统计信息尚未验证。该方法依赖面部图像的空间形变语义,现有材料未建立其与 EEG/BCI 信号增强的具体对应关系,因此不据此提出迁移结论。

阅读价值

值得核对其以局部形变构造表情相关负样本的设计,以及该设计相对仅使用全局增强的自监督学习所带来的增益;现有材料仅支持面部表情任务中的作者报告,不构成 EEG/BCI 有效性证据。

来源:OpenReview · Representation learning · openreview.net