通过对抗式跨语料整合学习面向小规模情感语料的增强声学潜在表征
Learning Enhanced Acoustic Latent Representation for Small Scale Affective Corpus with Adversarial Cross Corpora Integration
基于摘要分析。本文研究小规模情感语音语料上的语音情绪识别(SER),提出整合情境外情绪数据,以增强目标情境声学潜在表征中与情感相关的变异性,缓解语料规模有限及情境差异带来的识别困难。 方法以 adversarial autoencoder(对抗自编码器)为骨干,为每个目标情境样本派生多个情境外情绪标签,并将其作为潜在表征学习的辅助约束。其思路并非仅对齐不同语料的域差异,而是借助外部情绪信息丰富目标语料的表征。摘要未说明辅助标签的生成方式、是否依赖目标标签、对抗目标及各损失的组合形式,这些实现条件尚未验证。 作者报告,在三个目标情境数据库与三个情境外数据库构成的评估中,该策略提高了识别 Accuracy,并分析了表征学习策略的有效性。摘要未提供数据库名称、数据划分、对照基线、具体增益或统计结果,因此不能据此量化效果,也不能将其视为已验证的跨被试或跨会话结果;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移假设是,若不同 EEG 情绪语料之间存在可对应的情绪监督,外部标签辅助约束可能有助于小样本目标语料学习情绪相关表征。可复用的是辅助监督与对抗表征学习思路,需改造的是声学编码器及跨语料标签映射;EEG 低信噪比、被试差异、通道不一致和标签语义不匹配可能导致负迁移。一个可证伪的小实验是在固定目标 EEG 数据划分及训练样本量下,对比仅用目标数据的模型与加入外部标签约束的模型,并以打乱外部辅助标签作为对照,检验收益是否来自有效情绪信息。该设想不属于原文已验证结果,已有 EEG 相关工作尚未检索确认。
值得核对其如何利用跨语料情绪标签约束小规模目标语料的潜在表征,但摘要不足以判断增益大小、标签构造条件及其对 EEG 的可迁移性。
来源:OpenReview · Representation learning · openreview.net