跳到正文
OpenReview · State space models· Wen Huang; Yanmei Gu; Zhiming Wang; Huijia Zhu; Yanmin Qian·· 2025-01-01精选AI 评分71

通过潜在空间细化与增强实现可泛化的音频深度伪造检测

Generalizable Audio Deepfake Detection via Latent Space Refinement and Augmentation

AI 导读

基于摘要分析。本文研究音频深度伪造检测面对未知攻击时的泛化问题,提出结合 Latent Space Refinement(LSR,潜在空间细化)与 Latent Space Augmentation(LSA,潜在空间增强)的策略,主要研究对象是由 text-to-speech(TTS)和 voice conversion(VC)等技术生成的伪造语音,而非 EEG 或 BCI。 核心机制是:LSR 为伪造类别引入多个可学习原型,以表征该类别内部复杂的变化;LSA 直接在潜在空间中增强伪造样本的表示,扩大模型可学习的伪造模式范围。摘要未给出原型分配方式、具体增强操作、损失函数或训练与推理流程,不能据此判断其实现细节。 作者报告,在 ASVspoof 2019 LA、ASVspoof 2021 LA、ASVspoof 2021 DF 和 In-The-Wild 四个数据集上,LSR 与 LSA 单独使用均表现良好,联合使用取得可与当前先进方法竞争、持平或更优的结果。摘要未提供数值、指标、数据划分或对照方法,因此尚不能量化增益,也不能确认这些结果分别对应何种未知攻击或跨数据集协议。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若某一 EEG 分类任务的类别内部存在可重复的多模态变化,多原型表征与潜在空间增强可能成为应对跨被试差异的候选机制。这一假设依赖有标签数据及足够稳定的特征空间;可尝试复用原型学习与表示增强模块,但需改造信号编码器,并核对增强是否保持任务标签语义。低信噪比、小数据及通道差异可能使原型捕获噪声或被试身份,而非任务特征。可检验的小实验是在固定 Cross-subject 划分和同一 EEG 编码器下,对照基线、多原型、潜在增强及两者组合,比较预先选定的分类指标与被试间波动;原领域效果不构成 BCI 有效性的证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以多原型表征和潜在空间增强应对未知语音伪造攻击的思路,但具体增益、评估协议及向 EEG 任务迁移的有效性尚未验证。

来源:OpenReview · State space models · openreview.net