用于保留语音相关面部运动的面部表情操控的自监督情绪表征解耦

基于摘要分析。本文研究 Speech-preserving Facial Expression Manipulation（SPFEM），目标是在改变视频中面部情绪表达的同时，保留与语音相关的面部运动。作者提出 Self-Supervised Emotion Representation Disentanglement（SSERD），通过情绪表征解耦、合成配对数据构造及混合训练，支持情绪迁移与面部动画生成；研究对象是视频面部编辑，而非 EEG 解码或 BCI。 机制上，SSERD 利用 StyleGAN 潜在空间学习情绪潜在编码，通过 cross-attention 提取并预测情绪编辑编码，并使用对比学习区分不同情绪。针对同一说话者、相同语音内容但不同情绪表达的时间对齐帧对难以获得的问题，作者借助预训练 StyleGAN 构造配对数据，重点利用与嘴形无关的表情向量。训练同时结合合成配对数据与真实非配对数据，旨在兼顾编辑监督与生成图像的真实感。具体损失形式、配对构造约束及各训练部分的权重尚未验证。 作者报告，在包含 MEAD 和 RAVDESS 的基准数据集实验中，该框架能够生成逼真且富有表现力的面部动画。摘要未提供具体指标、数值、数据划分和对照结果，因此尚不能量化其优势，也不能据此判断情绪迁移与语音相关运动保留之间的权衡。复现时需核对 StyleGAN 预训练条件、配对样本生成流程、语音运动保持的评估方式，以及混合训练和对比学习的消融；实验协议、消融及统计信息尚未验证。 材料未提供该方法与神经信号处理的具体对应关系，不据此推断 EEG 或 BCI 有效性。