跳到正文
OpenReview · Representation learning· Cong Hu; Zhen-Hua Feng; Xiao-Jun Wu; Josef Kittler·· 2019-01-01精选AI 评分71

基于双编码器—解码器生成对抗网络的解耦人脸表征学习

Dual Encoder-Decoder based Generative Adversarial Networks for Disentangled Facial Representation Learning

AI 导读

基于摘要分析。本文研究人脸图像中身份信息与姿态变化的解耦,提出 Dual Encoder-Decoder based Generative Adversarial Network(DED-GAN),用于姿态不变人脸识别(PIFR)和跨姿态人脸合成;主要研究对象是人脸视觉表征,而非 EEG 或 BCI。 其生成器和判别器均以深度编码器—解码器为骨干:生成器学习与姿态解耦的人脸表征,判别器同时承担真伪分类、人脸重建、身份判定和姿态估计。作者还在判别器输出端加入以 Wasserstein distance 定义的额外逐像素损失,以改善对抗训练;摘要不足以确定该损失的具体形式,不宜将其直接等同于某种标准 WGAN 目标。方法将姿态视为连续变量,并通过回归而非离散分类进行估计,以促进身份与姿态信息分离。 作者报告,在若干受控环境与自然场景基准数据集上,DED-GAN 的定量与定性评估优于所比较的先进方法。摘要未提供数据集名称、划分、具体基线或指标数值,因而无法核对优势幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是利用连续干扰变量监督与多任务重建,分离任务相关信息和干扰因素。对应 EEG 时,必须先界定希望保留的任务信息及可测量的连续干扰变量,并具备相应监督;可借鉴多任务判别与解耦目标,但图像编解码器、逐像素损失和人脸身份监督均需改造。EEG 的低信噪比、通道差异与小样本可能使重建偏向噪声;若干扰变量与任务标签相关,解耦还可能移除有效信号。可在具有同步运动测量的 EEG 数据上,固定跨会话划分,比较基础编解码模型与加入连续运动回归监督的变体,同时检验任务性能和表征中的运动信息是否降低。该实验仅用于检验迁移假设;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以编码器—解码器判别器联合重建、身份与连续姿态监督来学习解耦表征的机制,但作者报告的人脸任务优势及其对 EEG 的可迁移性仍需分别核验。

来源:OpenReview · Representation learning · openreview.net