跳到正文
OpenReview · State space models· Ke Liu; Jiwei Wei; Wenyu Zhang; Yutao Dai; Shiyuan He; Zeyu Ma; Chaoning Zhang; Yang Yang·· 2025-09-16精选AI 评分74

超越音视频对齐:通过 HSV 色彩空间中的红色色相差异揭露说话人头像深度伪造

Beyond Audio-Visual Alignment: Unmasking Talking Head Deepfakes via Red Hue Discrepancies in HSV Color Space

AI 导读

基于摘要分析。该研究面向说话人头像视频的深度伪造检测,针对现有数据集缺少辐射场生成视频、以及音视频失配方法难以检测唇形高度同步伪造的问题,提出 RFAV 数据集与 Red Hue-based Talking Head Forgery Detection(RHTHFD)模型。研究对象是音视频内容真实性检测,而非 EEG 或 BCI 信号分析。 数据方面,Radiance Field Audio-Visual(RFAV)包含采用 Neural Radiance Fields(NeRF)与 3D Gaussian Splatting(3DGS)合成的伪造视频,用于补充辐射场生成内容的评估覆盖。摘要未提供数据规模、真实视频来源、身份划分或训练测试划分,相关协议尚未验证。 方法方面,作者观察到真实与伪造视频在 HSV 色彩空间的红色色相分布上存在差异,尤其集中于面部运动剧烈的区域。RHTHFD 被作者描述为无监督学习框架,利用视觉区域注意力自适应融合 HSV 特征与视觉特征,并结合重新加权的语音特征,以改善深度伪造检测的泛化。其核心思路是补充传统音视频对齐线索,而非仅依靠唇形与语音不同步。具体色相特征定义、注意力实现、语音重加权方式、损失函数及无监督训练条件尚未验证。 作者报告,该方法在包括 RFAV 在内的多个评估基准上达到最先进性能,但摘要未给出基准名称、指标数值、对照方法或评估划分,因此无法核对性能增益及不同协议下的可比性。需进一步核对红色色相线索对光照、肤色、压缩与色彩处理的敏感性,以及不同生成方式之间的泛化;这些属于待验证问题,不代表作者未开展相关实验。实验协议、消融及统计信息尚未验证,代码与数据获取条件亦未确认。材料未提供与 EEG/BCI 的具体机制对应关系,因此不据此提出迁移效果或复现实验建议。

阅读价值

值得阅读的具体原因是其针对唇形高度同步时音视频失配线索失效的问题,引入 HSV 红色色相分布作为检测依据,并提供包含 NeRF 与 3DGS 伪造视频的 RFAV 数据集;效果及泛化边界尚需全文验证。

来源:OpenReview · State space models · openreview.net