SpeechForensics：用于人脸伪造检测的音视频语音表征学习

基于摘要分析。该研究面向人脸伪造视频检测，重点解决模型对未见数据集及常见扰动的泛化问题。SpeechForensics 利用音频语音内容与面部运动之间的关联，从真实视频学习音视频语音表征，再直接迁移至伪造检测任务。 核心机制是在真实视频上开展自监督掩码预测，同时编码局部与全局语义信息。作者的出发点是：包含语音内容的音频信号能够提供反映面部运动的信息，从而为学习伪造检测所需表征提供监督来源。摘要未交代掩码对象、预测目标、音视频融合方式，以及迁移后的检测判定机制，这些细节尚未验证。 作者报告，在模型训练不使用任何伪造视频的前提下，该方法的跨数据集泛化与鲁棒性优于所比较的现有方法。摘要未提供数据集名称、划分、扰动类型、指标数值或具体对照，因此无法判断优势幅度与适用边界；实验协议、消融及统计信息尚未验证。复现尤其需要核对“训练不使用伪造视频”的具体范围，以及模型选择和阈值设定流程。 平台推测（待验证）：其可供 EEG 研究借鉴的是利用配对模态与掩码预测学习表征的思路，而不是人脸伪造检测结果本身。假设用于语音相关 EEG，需要同步 EEG 与语音数据，并改造信号编码和时序对齐模块；低信噪比、神经响应时延及跨被试差异可能使这种迁移失效。可在固定跨被试划分下，对比 EEG 单模态掩码学习与配对语音辅助学习，并用打乱配对关系检验收益是否依赖真实对应。相关 EEG 工作尚未检索确认。