通过域适应与说话人空间中的感知相似性回归实现跨语言文本转语音合成
Cross-Lingual Text-To-Speech Synthesis via Domain Adaptation and Perceptual Similarity Regression in Speaker Space
基于摘要分析。该研究针对跨语言文本转语音合成中说话人个性保持性能下降的问题,提出通过域适应构建语言无关的说话人空间,并通过感知相似性回归使该空间与人类对说话人相似性的感知相关联。 作者将既有说话人编码器形成的嵌入空间依赖语言视为跨语言合成性能下降的原因,把跨语言语音合成建模为域适应问题,训练编码器将不同语言的说话人嵌入映射到同一空间。另一项机制是感知相似性回归,旨在增强说话人个性表达,并提高嵌入空间的人类可解释性。摘要未提供域对齐方式、回归目标构造、损失函数或训练流程细节。 作者报告,实验中该方法改善了跨语言与同语言语音合成表现,并能够跨语言寻找感知上相似的说话人。摘要未给出数据集、语言组合、说话人数量、数据划分、对照基线或具体指标,因此不能判断改善幅度,也不能区分语音质量与说话人相似性各自的收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是假设将“域差异消除”与“保留任务相关相似性”分开约束,有助于应对 EEG 跨被试或跨会话表征偏移。可借鉴表征域对齐与相似性回归的组合,但需重新定义 EEG 中有监督依据的相似性目标,不能直接沿用说话人感知评分。低信噪比、通道配置差异及小样本条件可能使相似性估计不稳定,域对齐也可能抹去任务相关信息。一个可检验的小实验是在固定 Cross-subject 划分下,对比仅任务训练、加入域对齐、再加入任务相关相似性回归,检验后一约束是否带来稳定增益;这不是原论文已验证的结果。已有 EEG 相关工作尚未检索确认。
值得阅读其将语言域适应与感知相似性回归结合以约束说话人表征的思路,但具体收益及向 EEG 表征学习迁移的可行性尚未验证。
来源:OpenReview · State space models · openreview.net