跳到正文
OpenReview · Representation learning· Seong-Gyun Leem; Daniel Fulford; Jukka-Pekka Onnela; David Gard; Carlos Busso·· 2023-01-01精选AI 评分70

利用对比式教师—学生学习适配自监督语音表征以实现噪声语音情绪识别

Adapting a Self-Supervised Speech Representation for Noisy Speech Emotion Recognition by Using Contrastive Teacher-Student Learning

AI 导读

基于摘要分析。研究针对自监督语音表征经情绪识别微调后,在噪声目标环境中仍需适配的问题,提出对比式教师—学生学习框架,在保留原模型知识与学习噪声条件下的情绪判别信息之间取得平衡。主要研究对象是语音情绪识别(SER),并非 EEG 或 BCI。 机制上,以原始 SER 模型产生的干净语音嵌入作为参照,最小化其与重训练模型产生的噪声语音嵌入之间的均方根误差,以保持原有表征知识;同时使用 InfoNCE 损失,将对应的干净嵌入作为正样本,将具有不同情绪标签的其他噪声嵌入作为负样本,强化目标噪声条件下的判别能力。该构造依赖干净与噪声语音的对应关系,以及用于筛选负样本的情绪标签,不能仅因底层表征来自自监督学习就将整个适配过程视为无监督。 作者报告,在 MSP-Podcast 的干净与噪声版本上,相较于仅用干净语音训练的模型,该框架在目标噪声条件下改善了所有所评估情绪属性的表现,并称改善显著。摘要未提供具体指标、效应量、噪声类型与强度、数据划分或统计检验细节;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若能构建保留任务标签的干净/受污染 EEG 配对,该框架的表征对齐与标签约束对比学习可作为噪声鲁棒性研究的假设。可复用的是两类表征约束,需改造输入编码器、污染生成方式与负样本定义。风险包括低信噪比下教师参照不可靠、模拟噪声与真实伪迹不匹配,以及被试和通道差异被误当作任务差异。一个可检验的小实验是在固定被试内划分下,仅对训练段施加标签保持的受控污染,对比原模型、仅均方根误差适配与联合 InfoNCE 适配,并在独立测试段按污染强度评估。已有 EEG 相关工作尚未检索确认。

阅读价值

该研究将干净表征保持与噪声条件下的情绪判别学习结合,值得核对其配对数据、负样本构造及噪声评估协议,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net