SpeechForensics：用于人脸伪造检测的音视频语音表征学习

基于摘要分析。SpeechForensics 研究人脸伪造视频检测在未见数据集及常见扰动下的泛化问题，利用音频语音内容与面部运动之间的关联，在真实视频上学习音视频语音表征，再将所得模型直接迁移至伪造检测任务；其主要研究对象是数字取证，而非 EEG 或 BCI。 方法以自监督掩码预测为核心，摘要称其同时编码局部与全局语义信息。作者的出发点是，包含语音内容的音频可提供反映面部运动的信息，从而辅助学习用于检测的表征。具体掩码对象、预测目标、音视频融合结构、损失函数，以及迁移后如何形成伪造判别分数，摘要未说明，尚未验证。 作者报告，在模型训练不使用任何伪造视频的前提下，该方法在跨数据集泛化和鲁棒性方面优于所比较的现有方法。摘要未提供数据集名称、划分、扰动类型、对照方法或量化指标，因此不能据此判断优势幅度及适用边界；实验协议、消融及统计信息尚未验证。摘要提供了代码仓库，但实现与复现条件尚未核查。 平台推测（待验证）：若用于同步采集语音与 EEG 的表征学习，可检验“利用语音提供辅助监督”的假设，但面部运动与语音的对应关系不能直接等同于 EEG 与语音的对应关系。可借鉴掩码预测思路，需改造信号编码及时间对齐模块；EEG 低信噪比、跨被试差异、通道配置和小样本规模均可能削弱效果。一个可证伪的小实验是，在固定跨被试划分下，对照 EEG 单模态掩码学习与同步音频辅助学习，并增加打乱音频配对的对照，检验收益是否确实依赖同步信息。相关 EEG 工作尚未检索确认。