OpenReview · State space models· Siddharth Gururani; Arun Mallya; Ting-Chun Wang; Rafael Valle; Ming-Yu Liu·· 2023-01-01精选AI 评分72
SPACE:具有可控表情的语音驱动人像动画
SPACE: Speech-driven Portrait Animation with Controllable Expression
AI 导读
基于摘要分析。SPACE 研究如何仅利用语音和单张人像生成口型与音频同步、表情自然且具有真实头部姿态的视频,无需驱动视频。其核心贡献是通过多阶段方法结合面部关键点的可控性与预训练人脸生成器的图像合成能力,并支持控制情绪及其强度。 技术机制方面,面部关键点提供可控制的运动表征,预训练人脸生成器承担高质量图像合成。摘要未说明语音如何映射到关键点、情绪控制如何注入各阶段,也未给出损失函数、训练流程、生成器名称或推理成本,相关实现细节尚未验证。原论文的主要对象是语音驱动的人像视频生成,而非神经信号解码;不能因来源栏目包含 State space models 就认定 SPACE 使用了状态空间模型。 结果方面,作者报告,相较既有方法,SPACE 在图像质量和面部运动的客观指标上表现更好,并在用户成对比较中获得明显偏好。摘要未提供指标名称、具体数值、对照方法、数据划分或用户研究规模,因此目前只能保留作者的定性结论,不能据此判断优势大小或泛化范围。数据集、实验协议、消融及统计信息尚未验证。 复现时需取得全文并核对预训练生成器、关键点处理、情绪控制接口及评估设置;材料未确认代码或权重的可用性。摘要没有提供与 EEG/BCI 的具体机制对应关系,因此不提出跨领域迁移或复现实验建议。
阅读价值
值得阅读的是 SPACE 将面部关键点的可控性与预训练人脸生成器结合,实现语音驱动的人像动画及情绪强度控制,但摘要不足以验证其评估优势或 EEG/BCI 适用性。
来源:OpenReview · State space models · openreview.net