跳到正文
OpenReview · State space models· Daisuke Saito; Keisuke Yamamoto; Nobuaki Minematsu; Keikichi Hirose·· 2011-12-31精选AI 评分71

基于说话人空间张量表示的一对多语音转换

One-to-Many Voice Conversion Based on Tensor Representation of Speaker Space

AI 导读

基于摘要分析。本文研究如何灵活控制语音转换中的说话人特征,提出通过训练数据的张量分析构建说话人空间,用于一对多语音转换;研究对象是语音及说话人特征,而非 EEG 或 BCI。 原有 eigenvoice conversion(EVC)基于 eigenvoice Gaussian mixture model(EV-GMM),将各说话人 GMM 的均值向量拼接为高维超向量,再以少量特征超向量权重表示说话人。本文改将每位说话人表示为矩阵,行对应 Gaussian 分量,列对应均值向量的特征维度,并对这些矩阵组成的数据集合进行张量分析以得到说话人空间。核心变化是显式保留两类维度的结构,而非将其拼接为单个向量;具体张量分解形式、参数估计与转换推理过程尚未验证。 作者报告,该方法能够解决超向量表示中的一个固有问题,并在一对多语音转换实验中改善性能。但摘要未明确该问题的数学定义,也未提供数据集、说话人数、训练与测试划分、评价指标或增益数值,实验协议、消融及统计信息尚未验证,不能据此判断改善幅度或任意说话人转换能力。 平台推测(待验证):可迁移的机制是保留多维数据结构的表示方式,而非直接复用语音转换系统。假设 EEG 数据具有稳定的通道与特征轴,张量表示可能适用于检验向量化是否损失跨维结构;需重新定义各轴含义、监督目标及被试对齐方式,不能将 Gaussian 分量直接等同于 EEG 通道。低信噪比、通道不一致及小样本可能使结构估计不稳定。一个可证伪的小实验是在固定 EEG 特征、相同跨被试划分和相近表示维度下,对比向量化表示与保留通道—特征轴的张量表示,检验分类性能及稳定性是否改善。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以张量表示保留 GMM 均值的分量与特征维度结构、替代超向量构建说话人空间的机制,但语音转换收益的具体指标及 EEG 迁移有效性尚未验证。

来源:OpenReview · State space models · openreview.net