SpeechForensics：用于人脸伪造检测的音视频语音表征学习

基于摘要分析。SpeechForensics 针对人脸伪造视频检测在未见数据集和常见扰动下的泛化问题，利用音频语音内容与面部运动之间的关联学习音视频表征，再将所得模型迁移至伪造检测任务；其主要研究对象是数字取证，而非 EEG 或 BCI。 方法首先在真实视频上执行自监督掩码预测任务，同时编码局部与全局语义信息，随后将学得的模型直接迁移至人脸伪造检测。摘要将音频描述为能够提供与面部运动相对应的精确信息，但未给出掩码对象、跨模态预测方向、损失形式，以及检测阶段的判别与适配方式，这些机制细节尚未验证。 作者报告，在模型训练不使用任何伪造视频的前提下，该方法的跨数据集泛化与鲁棒性优于所比较的当时最先进方法。摘要未提供数据集名称、划分、扰动类型、评价指标或具体数值；训练范围的具体界定、对照基线、消融及统计信息尚未验证，不能据此量化其优势。 平台推测（待验证）：可考察的迁移假设是，将同步语音与 EEG 的配对数据用于跨模态自监督学习，测试语音语义能否为低信噪比 EEG 提供辅助监督。可复用的是掩码预测与局部、全局语义学习思路；输入编码、时间对齐和预测目标则需针对 EEG 改造。面部运动与语音的关联并不等于 EEG 与语音具有同等可预测性，被试差异、通道配置、小数据及听觉或运动伪迹均可能使迁移失败。小规模可证伪实验可在固定跨被试划分与相同下游标注量下，对比 EEG 单模态掩码预训练、同步音频辅助预训练及打乱音频配对的对照。已有 EEG 相关工作尚未检索确认，此建议不代表已验证的 BCI 效果。