跳到正文
OpenReview · Representation learning· Aviad Shtrosberg; Jesús Villalba; Najim Dehak; Azaria Cohen; Bar Ben-Yair·· 2021-01-01精选AI 评分71

面向鲁棒远场说话人识别的不变表征学习

Invariant Representation Learning for Robust Far-Field Speaker Recognition

AI 导读

基于摘要分析。该研究针对智能家居助手在房间形状与大小、说话人与麦克风距离及背景噪声变化下的远场说话人识别问题,使用 Invariant Representation Learning(IRL)增强模型鲁棒性,并提出 Text-Dependent IRL(TD-IRL)、Text Independent IRL(TI-IRL)与 Deep Features IRL(DF-IRL)三种变体。主要研究对象是语音中的说话人身份识别,而非 EEG 或 BCI。 研究以基础 x-vector 模型为对照,在 VOiCES 数据集的远场场景上评估;摘要将该数据集描述为在四个真实、带家具的房间中模拟远场条件的录音。作者报告,相对基线,TD-IRL 与 DF-IRL 在所评估远场场景中的 minDCF 平均改善 36%,TI-IRL 平均改善 31%。这里的结果是 minDCF 的相对改善,不能解释为 Accuracy 提高或百分点增益。具体训练与测试划分、场景平均方式、minDCF 计算设置及结果不确定性尚未验证。 方法层面的核心方向是学习对环境变化更稳健的身份表征,但摘要未说明三种变体的具体损失、样本配对方式、监督要求及特征约束位置,不能仅凭名称推定其实现。复现前需核对上述机制,以及远场条件构造、基线训练配置、消融和统计信息。 平台推测(待验证):假设 IRL 能在保留任务判别信息的同时抑制环境因素,其思路可能对应 EEG 跨会话中的采集条件偏移。可考虑复用表征约束思想,但语音前端及说话人身份监督需改为 EEG 编码器与目标任务监督;是否依赖同身份、同文本或跨条件配对数据,仍需全文确认。EEG 低信噪比、通道变化与小样本可能使不变性约束同时抹去任务信息。一个可证伪的小实验是在固定跨会话划分和相同编码器下,对照有无经全文确认的 IRL 约束,检验任务表现是否稳定改善;原文结果不构成这一迁移假设的证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对三种 IRL 变体如何约束远场条件下的说话人表征及其相对 x-vector 的 minDCF 改善,但其对 EEG 域偏移的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net