面向含噪目标说话人高质量语音转换的噪声无关语音表征学习
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
基于摘要分析。该研究面向目标说话人训练语音含噪时的语音转换问题,在 Glow-WaveGAN 基础上学习噪声无关、同时保留说话人相关信息的潜在表征,以减少受污染语音对转换质量的影响。 方法的关键是对齐转换模型所建模的目标分布与波形生成器所建模的分布,并在此前提下使潜在特征对噪声保持不变。作者引入可控噪声的 WaveGAN:编码器直接从波形提取噪声无关声学表征,解码器通过 FiLM 模块在隐藏空间控制噪声。转换端使用基于 flow 的模型,从 phoneme posteriorgrams 学习噪声无关但与说话人相关的潜在特征分布。 作者报告,该方法在含噪目标说话人的语音转换中获得了较高的语音质量与说话人相似度。摘要未提供数据集、噪声条件、训练规模、对照方法及具体指标,无法据此量化改善;分布对齐与噪声不变性的具体约束、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可借鉴的假设是,将噪声控制放在解码端,有助于编码端保留任务信息并抑制干扰,但原研究依赖语音波形、说话人信息和 phoneme posteriorgrams,并非 EEG/BCI 验证。若用于 EEG,需要重新定义任务条件输入、噪声控制变量及信号生成器;低信噪比、小数据、跨被试差异与通道变化可能导致任务成分被误作噪声移除。一个可检验的小实验是在固定 EEG 被试内划分下,对比有无解码端噪声控制的表征模型,在一致的可控加噪条件下同时检查下游解码表现与任务相关信息保留情况。已有 EEG 相关工作尚未检索确认。
值得阅读其通过生成器与转换模型的潜在分布对齐、解码端噪声控制来分离噪声与说话人信息的机制,但摘要不足以验证性能提升幅度及其对 EEG 的适用性。
来源:OpenReview · Representation learning · openreview.net