跳到正文
OpenReview · Representation learning· Jingu Kang; Jaesung Huh; Hee Soo Heo; Joon Son Chung·· 2022-01-01精选AI 评分73

用于自监督说话人表征学习的增强对抗训练

Augmentation Adversarial Training for Self-Supervised Speaker Representation Learning

AI 导读

基于摘要分析。该研究面向说话人识别,试图缓解自监督对比学习中说话人身份信息与声学通道信息难以分离的问题。作者提出增强对抗训练,使表征保留说话人判别信息,同时对所施加的数据增强保持不变。 机制上,既有方法拉近同一语句内不同片段的嵌入、推远不同语句的嵌入,但同一语句内片段也共享声学特征,因此对比目标可能同时保留通道信息。本文以数据增强模拟声学特征变化,通过增强不变性鼓励更一般的通道不变性。摘要未披露具体增强类型、对抗目标实现、损失形式及训练配置,尚不能确认其如何平衡身份判别与增强信息去除。 作者报告,在 VoxCeleb 和 VOiCES 数据集上,自监督模型相较此前自监督方法显著改善,并报告性能远超人类;但摘要未提供指标、数据划分、对照配置、人类评估协议或统计依据,因此不能据此量化收益或解释人机比较的适用范围。作者还报告,在使用说话人标签的半监督实验中,增强对抗训练同样有益。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是借助可控增强削弱与目标无关的采集条件信息,可能对应 EEG 中设备或采集条件变化造成的表征混杂。可考虑复用增强不变性训练思路,但需重新设计保持任务语义的 EEG 增强与表征学习目标;语音中的声学通道不能直接等同于 EEG 电极通道。低信噪比、跨被试差异、通道配置变化及小数据条件可能使增强误删任务相关信息。一个可证伪的小实验是在固定跨会话划分、编码器及增强配置下,对比加入与不加入增强对抗约束的模型,同时检查任务表现与采集条件可辨识性,验证去除条件信息是否以损害任务信息为代价。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究针对自监督说话人表征中身份信息与声学通道信息混杂的问题提出增强对抗训练,值得核对其增强不变性是否确实改善跨声学条件识别,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net