基于双编码器—解码器生成对抗网络的解耦人脸表征学习
Dual Encoder-Decoder Based Generative Adversarial Networks for Disentangled Facial Representation Learning
基于摘要分析。本文研究人脸图像中身份信息与姿态变化的解耦,提出 Dual Encoder-Decoder based Generative Adversarial Network(DED-GAN),用于姿态不变人脸识别(PIFR)和跨姿态人脸合成;研究对象是人脸视觉表征,而非 EEG 或 BCI。 机制上,生成器与判别器均采用深度编码器—解码器骨干。生成器学习与姿态解耦的人脸表征;判别器同时承担真伪分类、人脸重建、身份判别和姿态估计。作者进一步在判别器输出端引入以 Wasserstein distance 定义的额外逐像素损失,以改善对抗训练。与将姿态离散化的处理不同,该方法将姿态视为连续变量,通过回归任务提供姿态信息,帮助分离身份与姿态因素。摘要未给出损失的具体公式、权重及训练细节。 作者报告,在多个受控环境与自然场景基准数据集上的定量和定性评估中,DED-GAN 优于所比较的方法。摘要未提供数据集名称、划分、指标、数值或具体基线,因此不能据此核对优势幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可供 EEG 研究借鉴的假设,是利用可测量的连续干扰因素监督及重建约束,分离任务相关表征与干扰表征。原方法依赖人脸身份、姿态及图像重建结构;迁移时需重新定义 EEG 的目标因素与干扰因素,并改造编码器—解码器和重建目标,不能直接将身份或姿态映射为 EEG 任务。若干扰与任务标签相关,强制解耦可能删除有效神经信息;低信噪比、通道差异和小数据也可能使对抗训练不稳定。一个可检验的小实验是:在具有同步运动测量的 EEG 数据中,固定被试内划分,比较同一骨干加入与不加入连续干扰回归及解耦约束时的任务表现和干扰可预测性,检验能否降低干扰信息而不损害任务表现。相关 EEG 工作尚未检索确认。
值得关注的是将身份与连续姿态解耦、并以多任务编码器—解码器判别器约束生成学习的机制;其对 EEG 干扰因素解耦的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net