跳到正文
OpenReview · Representation learning· Ronghao Lin; Haifeng Hu·· 2022-01-01精选AI 评分71

通过单模态编码与跨模态预测进行多模态对比学习,用于多模态情感分析

Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis

AI 导读

基于摘要分析。本文研究多模态情感分析中的表征学习,提出 MultiModal Contrastive Learning(MMCL),联合学习模态内特征与模态间交互,试图兼顾稳健的单模态表征和与情感相关的跨模态信息。 核心机制包括:通过单模态对比编码及单模态特征增强策略,抑制声学与视觉模态中的固有噪声;使用 pseudo siamese network(伪孪生网络)进行跨模态表征预测;再以实例级和情感级两类对比学习任务促进预测过程,学习与情感相关的交互信息。摘要未提供特征增强操作、网络结构、损失形式,以及情感级对比任务所需监督信息的具体定义。 作者报告,在两个公开数据集上的实验优于所比较的 state-of-the-art 方法;但摘要未列出数据集名称、评价指标、具体数值、划分方式及对照方法,因而无法判断优势幅度或比较条件。实验协议、消融及统计信息尚未验证,代码与复现配置亦尚未验证。 平台推测(待验证):若具有同步采集、可配对且带情感监督的 EEG 与声学或视觉数据,该框架可能为多模态情感识别提供一种可检验的机制假设,即先稳定各模态表征,再通过跨模态预测学习共享信息。可考虑复用对比学习与跨模态预测思路,但 EEG 编码器、特征增强和时间对齐需重新设计;低信噪比、跨被试差异、通道配置变化及小样本条件可能使增强破坏情感线索,或使跨模态预测依赖非目标相关性。一个小规模检验是在固定跨被试划分下,对比单模态基线、仅单模态对比编码以及加入跨模态预测的版本,并保持训练数据和评价指标一致。上述仅为迁移假设,不是本文已验证的 EEG 或 BCI 效果;相关 EEG 工作尚未检索确认。

阅读价值

值得关注的是 MMCL 将单模态抗噪表征学习与跨模态预测结合,并引入实例级和情感级对比任务;其各模块的独立贡献及向 EEG 多模态任务迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net