跳到正文
OpenReview · Representation learning· Haohan Guo; Fenglong Xie; Jiawen Kang; Yujia Xiao; Xixin Wu; Helen Meng·· 2023-12-31精选AI 评分73

QS-TTS:通过向量量化自监督语音表征学习实现半监督文本转语音合成

QS-TTS: Towards Semi-Supervised Text-to-Speech Synthesis via Vector-Quantized Self-Supervised Speech Representation Learning

AI 导读

基于摘要分析。本文研究如何利用更多无标注语音音频,降低文本转语音合成(TTS)对监督数据的需求,提出半监督框架 QS-TTS。核心贡献是利用两个生成式向量量化自监督语音表征学习器,为 TTS 提供语音表征与预训练模型。 机制上,主学习器将 MSMC-VQ-GAN 与对比式自监督语音表征学习结合,构建生成式 Multi-Stage Multi-Codebook(MSMC,多阶段多码本)表征,并将其解码回音频;辅助学习器再通过 VQ-VAE,将 MSMC 表征进一步抽象为高度紧凑的向量量化表征。摘要未给出具体损失形式、训练阶段之间的衔接方式,以及表征和预训练模型接入 TTS 的细节。 作者报告,在多种场景的主观与客观测试中,QS-TTS 相较所比较的监督及半监督 TTS 基线获得最高 MOS,低资源场景下优势尤其明显;在语音表征及迁移学习方法的比较中,作者报告其音频质量和可懂度指标表现最佳,且随监督数据减少,合成质量下降更缓慢。摘要未提供数据集、监督与无标注数据规模、划分方式、基线名称、具体数值及统计不确定性,因此这些结论仅适用于作者所述实验范围,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其机制可提出一个面向 EEG 的假设,即先用无标注信号学习可重建的多码本表征,再压缩为紧凑离散表征,可能有助于小样本下游解码;但原论文研究对象是语音合成,并非 BCI。迁移需改造信号编码与重建模块、跨通道建模及对比样本构造,低信噪比、跨被试差异和小数据可能导致码本利用不足或保留无关噪声。可在固定跨被试划分和标注预算下,对比两级量化、单级量化与无量化预训练的下游解码表现,检验压缩是否带来收益;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过两级生成式量化语音表征利用无标注音频、降低 TTS 监督数据需求的机制,但低资源优势的幅度及评估协议仍需全文核对。

来源:OpenReview · Representation learning · openreview.net