跳到正文
OpenReview · Representation learning· Yuxiang Zou; Shichao Liu; Xiang Yin; Haopeng Lin; Chunfeng Wang; Haoyu Zhang; Zejun Ma·· 2021-01-01精选AI 评分71

使用 ToBI 表征的神经语音合成细粒度韵律建模

Fine-Grained Prosody Modeling in Neural Speech Synthesis Using ToBI Representation

AI 导读

基于摘要分析。该研究针对神经文本转语音(TTS)系统容易生成接近训练语料平均韵律、缺乏丰富变化的问题,引入 ToBI(Tones and Break Indices)表征,在音节级建模和控制语调与重音。研究对象是语音合成,而非 EEG 解码或 BCI。 系统由用于预测 ToBI 的文本前端和基于 Tacotron 的 TTS 模块组成。核心机制是将显式韵律表征引入合成过程,使重音、语调与停顿成为可控制的生成属性,而不只依赖模型隐式学习语料中的平均风格。摘要未说明 ToBI 标注的获取方式、表征注入位置、训练目标及推理时控制接口,这些实现条件尚未验证。 作者报告,在与 Tacotron 及一种无监督方法的比较实验中,该方法生成的语音更自然、韵律更准确,并能有效控制重音、语调和停顿。摘要未提供数据集、数据划分、评价指标、听测协议或效果数值,因此不能据此判断改善幅度及其跨说话人泛化能力;实验协议、消融及统计信息尚未验证。 该工作的直接阅读价值在于显式韵律表征与语音生成模块的衔接设计。材料未提供神经信号到 ToBI 的映射或 BCI 验证证据,不能将语音合成中的可控性直接视为脑控语音输出的有效性;相关 EEG/BCI 工作尚未检索确认。

阅读价值

值得关注其以显式 ToBI 表征连接文本预测与可控语音合成的机制;作者报告了相对 Tacotron 和无监督方法的韵律改善,但具体评估协议与效果幅度尚未验证。

来源:OpenReview · Representation learning · openreview.net