面向含噪目标说话人高质量语音转换的噪声无关语音表征学习
Learning Noise-independent Speech Representation for High-quality Voice Conversion for Noisy Target Speakers
基于摘要分析。本文研究目标说话人训练语音含噪时的语音转换问题,在 Glow-WaveGAN 基础上学习噪声无关、同时保留说话人信息的声学表征,以降低受污染训练语音对转换质量的影响;其主要研究对象是语音转换,而非 EEG 或 BCI。 核心机制是让转换模型所建模的目标分布来自波形生成器所建模的分布,并在这一隐空间内实现噪声不变性。作者引入可控制噪声的 WaveGAN,由编码器直接从波形学习噪声无关声学表征,通过解码器中的 FiLM 模块在隐藏空间控制噪声;转换部分则使用 flow-based model,从 phoneme posteriorgrams 学习噪声无关但与说话人相关的隐特征分布。具体损失、训练阶段及分布一致性的实现方式尚未验证。 作者报告,该方法在面向含噪目标说话人的语音转换中获得较高语音质量和说话人相似度。摘要未提供数据集、噪声条件、训练与测试划分、对照基线或量化指标,因此不能据此判断提升幅度;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,通过显式控制噪声因素,减少任务表征对干扰的依赖。这可能对应 EEG 中保留任务信息、抑制伪迹的需求,但原方法依赖语音波形生成与 phoneme posteriorgrams 条件,不能直接照搬。可考虑复用隐空间噪声控制思路,重新设计多通道 EEG 编解码器及任务条件;低信噪比、小数据、通道变化,以及伪迹与任务活动相关时,都可能导致有效神经信息被误抑制。一个可证伪的小实验是在固定被试内划分下,为同一批 EEG 试次添加可控伪迹,对比有无隐空间噪声控制时的任务性能及干净信号性能退化。已有 EEG 相关工作尚未检索确认。
值得关注其通过生成器隐空间、FiLM 噪声控制与 flow-based 转换模型分离噪声和说话人信息的机制,但语音转换效果仅有摘要中的定性结论,向 EEG 表征学习迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net