用于保留言语动作的面部表情操控的自监督情绪表征解耦

基于摘要分析。本文研究 Speech-preserving Facial Expression Manipulation（SPFEM），即在改变视频人物面部情绪的同时，保留与言语相关的面部运动。作者提出 Self-Supervised Emotion Representation Disentanglement（SSERD），通过情绪表征解耦和合成配对数据构造，处理情绪表征不足及严格时间对齐配对数据难以获取的问题；研究对象是人脸视频编辑，而非 EEG 情绪识别或 BCI。 机制上，SSERD 在 StyleGAN 潜在空间中学习情绪潜在编码，通过 cross-attention 提取和预测情绪编辑编码，并使用对比学习区分情绪。针对同一说话人、相同言语内容但不同情绪的对应帧难以获得的问题，作者利用预训练 StyleGAN 生成配对数据，重点操控与嘴形无关的表情向量，再混合使用合成配对数据与真实非配对数据训练，以改善生成图像的真实感。摘要未给出具体损失形式、配对样本筛选规则或言语动作保留的约束细节。 作者报告，在包括 MEAD 和 RAVDESS 的基准数据集上，该框架能够生成逼真且富有表现力的面部动画。摘要未提供定量指标、对照方法、数据划分或言语动作保留的独立评价结果，因此不能据此判断提升幅度及跨说话人泛化能力；实验协议、消融及统计信息尚未验证。 其表征解耦依赖人脸生成模型的潜在空间与可控表情编辑，摘要未建立这些条件与 EEG 信号结构之间的具体对应关系，不能将原任务的结果视为 EEG/BCI 有效性的证据。已有 EEG 相关工作尚未检索确认。