基于细粒度多维情绪表征学习的对话情绪识别
Emotion Recognition in Conversation Based on the Fine-grained Multidimensional Emotion Representation Learning
基于摘要分析。该研究面向对话情绪识别(ERC),针对固定情绪类别监督难以表达复杂情绪的问题,提出 Fine-grained Multidimensional Emotion Representation Learning(FMERL),将多任务学习与对比学习结合,同时学习连续和离散的细粒度情绪表征。 方法先提取文本、音频和视觉特征,再通过基于 Transformer 的模型融合多模态信息。连续表征部分采用三个前馈网络,分别学习效价、唤醒度和支配度(VAD);离散表征部分通过面向大语言模型的提示工程构建细粒度情绪表征,并以对比学习将其与融合后的多模态特征对齐到共享嵌入空间。其核心思路是以连续心理维度和离散情绪语义补充固定类别标签监督,作者据此提出对未见情绪类别进行零样本识别的能力。 作者报告,在 IEMOCAP 和 MELD 上,FMERL 的情绪识别达到最先进性能,并实现 ERC 零样本学习。摘要未提供具体指标、数值、数据划分、对照基线及未见类别定义,因此尚不能判断性能增益大小或零样本结论的适用范围。VAD 监督来源、大语言模型与提示设置、损失权重、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 情绪数据具有可对应的 VAD 标注或可靠情绪语义描述,可假设连续维度监督与语义对齐有助于缓解离散标签表达不足;但原论文研究对象是文本、音频和视觉对话,并未提供 EEG/BCI 有效性证据。可复用的是多任务表征与对比对齐思路,需改造 EEG 编码器及监督映射;低信噪比、跨被试差异和小样本可能使语义对齐失效。一个可检验的小实验是在固定跨被试划分下,对比同一 EEG 编码器的类别监督、加入 VAD 监督、再加入语义对齐三种设置,检验增益是否稳定。相关 EEG 工作尚未检索确认。
值得核对其连续 VAD 监督与离散情绪语义对齐如何共同支持 ERC 分类及零样本识别,但摘要中的领先性能主张仍需结合数据划分、基线和零样本协议验证。
来源:OpenReview · Representation learning · openreview.net