跳到正文
OpenReview · Representation learning· Amit Kumar Singh Yadav; Kratika Bhagtani; Ziyue Xiang; Paolo Bestagini; Stefano Tubaro; Edward J. Delp·· 2023-01-01精选AI 评分72

DSVAE:用于合成语音检测的解耦表征学习

DSVAE: Disentangled Representation Learning for Synthetic Speech Detection

AI 导读

基于摘要分析。本文研究合成语音检测及其可解释性,提出 Disentangled Spectrogram Variational Auto Encoder(DSVAE),通过两阶段训练的变分自编码器处理语音频谱图,学习区分合成语音与真实语音的解耦特征。研究对象是语音真伪检测,并非 EEG 解码或 BCI。 核心机制是利用解耦表征学习生成检测特征,并通过特征可视化解释模型的判别依据。摘要未说明两个训练阶段的具体目标、解耦约束、监督方式及检测决策过程,因此尚不能判断这些特征是否分离了合成痕迹、说话人身份或其他声学因素;可视化对解释性的支持范围也需结合正文核对。 作者报告,在 ASVspoof2019 数据集上,对涉及 6 个已知和 10 个未知语音合成器的合成语音检测,Accuracy 超过 98%。摘要未给出已知与未知合成器的分项结果、数据划分及阈值设置,不能将该数字解释为每类合成器均达到这一水平。作者还报告,相较若干已有方法,DSVAE 表现良好,并可用于社交平台上传语音检测及移除静音片段等简单攻击场景;具体基线、处理条件及对应指标尚未验证。 平台推测(待验证):若 EEG 任务中的目标信息与被试或采集条件等干扰因素能够分离,频谱表征上的解耦学习可能提供方法参考,但语音真伪因素与 EEG 生理因素并不等价。可复用的候选部分是频谱输入和两阶段表征学习思路,需改造输入表示、解耦目标及监督设计;低信噪比、通道差异和小样本可能导致模型学习被试特征或丢失任务信息。取得完整方法后,可在固定 Cross-subject 划分下,对照相同容量、不含解耦机制的模型,检验任务性能及表征中的被试可辨识性。该假设尚无本材料中的 EEG 实验证据,已有 EEG 相关工作尚未检索确认。实验协议、消融及统计信息尚未验证。

阅读价值

值得核对其两阶段变分自编码器如何形成可区分合成与真实语音的表征,以及特征可视化能否支持可解释性结论;摘要中的未知合成器评估也提供了考察泛化能力的线索。

来源:OpenReview · Representation learning · openreview.net