跳到正文
OpenReview · State space models· Zhongquan Jian; Ante Wang; Jinsong Su; Junfeng Yao; Meihong Wang; Qingqiang Wu·· 2024-01-01精选AI 评分72

EmoTrans:基于情绪转移的对话情绪识别模型

EmoTrans: Emotional Transition-based Model for Emotion Recognition in Conversation

AI 导读

基于摘要分析。该研究面向 Emotion Recognition in Conversation(ERC,对话情绪识别),提出 EmoTrans,利用对话参与者之间的情绪转移(Emotional Transition,ET)建模上下文情绪变化。作者将情绪转移视为重要的对话特征,希望借此缓解模态信息缺失造成的话语情绪语义偏差;原研究对象是对话情绪识别,并非 EEG 或 BCI。 方法将最近若干条话语及其对应说话人拼接为样本输入,并设置多个占位符以隐式表达上下文话语的情绪。在此基础上,作者设计两个组件,分别用于增强模型对情绪的敏感性及捕获样本中的情绪转移特征;摘要未说明组件的具体结构。此外,模型引入基于 ET 的 Contrastive Learning(CL,对比学习),旨在使表示空间更紧凑,获得更稳健的样本表示。占位符构造、情绪监督来源、对比样本生成方式及损失形式尚未验证。 作者报告在四个常用数据集上取得有竞争力的结果,并报告在 MELD 和 IEMOCAP 上取得新的 SOTA 结果。摘要未提供另外两个数据集名称、具体指标、数据划分或对照基线,因此不能据此判断提升幅度或跨协议可比性。实验协议、消融及统计信息尚未验证,也需核对训练和推理阶段对上下文情绪信息的依赖。 平台推测(待验证):若 EEG 情绪识别数据包含连续情绪片段及可靠的情绪监督,情绪转移约束可能用于研究时间上下文是否改善单片段识别。可考虑复用转移约束与对比学习思路,但需将话语和说话人输入改造为 EEG 片段及相应上下文表示;EEG 的低信噪比、情绪标签时间粒度、跨被试差异及小样本规模均可能使转移建模失效。一个可检验的小实验是在固定的跨被试划分下,对比同一 EEG 编码器加入与不加入转移约束的结果,并打乱片段顺序检验收益是否确实依赖时间上下文。以上仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是以情绪占位符和情绪转移驱动的对比学习建模对话情绪变化的具体思路,但其对 EEG 情绪识别的适用性尚未验证。

来源:OpenReview · State space models · openreview.net