OpenReview · State space models· Stella Bounareli; Christos Tzelepis; Vasileios Argyriou; Ioannis Patras; Georgios Tzimiropoulos·· 2024-01-01精选AI 评分76
通过寻找 GAN 潜空间方向实现单样本人脸神经重演
One-shot Neural Face Reenactment via Finding Directions in GAN's Latent Space
AI 导读
基于摘要分析。该研究针对人脸/头部重演:将目标人脸的三维头部朝向与表情迁移到源人脸,并支持仅使用一张源图像的 one-shot 设置及跨人物重演。核心贡献是借助 3D 形状模型,在预训练 GAN 的潜空间中学习控制头部姿态和表情变化的方向,而非训练专门用于身份与姿态/表情解耦的嵌入网络。 方法利用经微调的预训练 GAN 生成面部图像,以缓解既有解耦嵌入学习困难可能带来的图像质量下降。针对 GAN 可控性较弱的问题,作者以 3D 形状模型中按构造分离的姿态、身份和表情因素为引导,学习相应的潜空间方向;再将真实图像嵌入 GAN 潜空间,实现真实人脸重演。摘要未说明 GAN 架构、方向学习目标、微调策略或真实图像嵌入的具体实现,尚不能据此还原完整训练与推理流程。 作者报告,在 VoxCeleb1 & 2 标准基准上的定性与定量比较中,该方法通常比所比较的当时先进方法生成质量更高的重演人脸。摘要未提供具体指标、数值、数据划分与基线名称,实验协议、消融及统计信息尚未验证;one-shot 在此指单张源图像,不代表整个方法仅用一张图像训练。 研究的主要对象是视觉生成与人脸重演,材料未涉及神经信号解码,也未给出与 EEG 瓶颈的具体机制对应,因此不据此提出 BCI 迁移效果或复现实验建议。
阅读价值
值得关注其借助 3D 形状模型寻找 GAN 潜空间可控方向的机制,但摘要中的证据限于人脸重演,不能据此推断 EEG 或 BCI 有效性。
来源:OpenReview · State space models · openreview.net