面向多说话人生成建模的感知相似性感知深度说话人表征学习
Perceptual-Similarity-Aware Deep Speaker Representation Learning for Multi-Speaker Generative Modeling
基于摘要分析。研究针对判别式说话人嵌入未必适合多说话人生成建模的问题,提出利用说话人感知相似度监督训练说话人编码器,并通过主动学习减少相似度评分与训练成本。主要研究对象是说话人表征与语音生成,而非 EEG 或 BCI。 核心机制是通过大规模说话人配对感知评分构建相似度矩阵,再分别以向量集合、Gram 矩阵和图三种形式指导嵌入学习。主动学习流程交替进行感知评分和编码器训练,依据逐步训练的编码器对相似度的预测,选择下一批尚未评分的说话人配对。摘要未给出具体损失函数、图构造方式或配对选择准则。 在摘要所述的说话人配对相似度评估与语音自编码任务中,作者报告:所学嵌入与感知相似度高度相关,相比判别式学习得到的传统 d-vectors 能改善合成语音质量;主动学习在降低评分和训练成本的同时获得更高的合成语音质量。三种方案中,向量表征的合成语音说话人相似性最好,图表征对自然度的改善最大。摘要未提供数据集、说话人数、划分方式、具体指标及数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是以任务相关的成对相似度替代单纯身份判别监督,并主动选择待标注配对;它依赖可靠的相似度定义及足够的评分覆盖。若用于 EEG 表征,需重新定义试次间的任务相似度,改造编码器与配对采样,不能直接照搬说话人感知评分。低信噪比、跨被试差异、通道配置变化和小数据可能使嵌入主要反映噪声或身份,而非目标任务。一个可证伪的小实验是在固定 EEG 数据划分与标注预算下,对比主动配对和随机配对,并与仅用任务标签监督的编码器比较下游表现;这不是本文已验证的结果,已有相关 EEG 工作尚未检索确认。
值得关注其将感知相似度监督与主动采样结合的表征学习机制,以及相似度向量、Gram 矩阵和图三种表征对合成语音相似性与自然度的不同影响;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net