面向细粒度可控说话人头部合成的渐进式解耦表征学习

基于摘要分析。本文研究 one-shot talking head synthesis，旨在分别控制唇部运动、视线与眨眼、头部姿态和情绪表情。作者提出由粗到细的渐进式解耦表征学习策略，以不同潜在表征表示各类运动，再通过图像生成器合成说话人头部影像；研究对象是视觉生成，而非 EEG 解码或 BCI。 机制上，方法先从驱动信号中提取统一运动特征，再从中分离细粒度运动因素。对于非情绪运动，采用运动特定的对比学习与回归；对于情绪表情，引入特征级去相关与自重建。其方法特点是针对不同因素采用不同约束，利用非结构化视频中各类运动的固有属性实现解耦，而非对所有因素施加单一目标。驱动信号的具体形式、监督来源及各损失的实现尚未验证。 作者报告，该方法能够实现高质量的语音与唇部运动同步，并对多种额外面部运动进行精确、解耦的控制。摘要未提供数据集、样本规模、划分方式、指标数值或具体对照方法，因此这些定性结论的适用范围尚不能核实；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 中任务相关活动与眼动、面部运动等干扰具有可区分的监督或辅助测量，这种“先统一编码、再按因素解耦”的机制可能用于探索任务与干扰表征的分离，但视觉生成有效不等于 BCI 有效。可借鉴渐进式分离与因素特定约束，编码器、监督目标及重建任务则需适配 EEG；低信噪比、任务与伪迹相关、跨被试差异及小数据都可能导致错误分离。一个可检验的小实验是在具备同步眼动或面部运动记录的 EEG 数据上，固定编码器容量与划分，比较统一表征和渐进解耦表征的任务解码性能及干扰可预测性。相关 EEG 工作尚未检索确认。