面向多模态情感分析的单模态编码与跨模态预测对比学习

基于摘要分析。本文研究多模态情感分析中的表示学习，提出 MultiModal Contrastive Learning（MMCL），将稳健的单模态编码与跨模态交互建模结合，以同时捕获模态内和模态间的信息，而非仅侧重单模态预训练或跨模态融合。 机制上，MMCL 通过单模态对比编码及特征增强策略，尝试过滤声学和视觉模态中的固有噪声，获得更稳健的单模态表示；随后使用 pseudo siamese network 预测不同模态之间的表示，以学习跨模态关系。此外，方法引入实例级与情感级两类对比学习任务，辅助表示预测并强化与情感有关的交互信息。具体增强操作、网络结构、正负样本构造、损失形式及监督需求尚未验证。 作者报告，在两个公共数据集上的实验中，该方法优于所比较的当时最先进方法。摘要未提供数据集名称、划分协议、指标、具体数值和基线，因此尚不能判断提升幅度及其适用条件；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可检验的迁移假设是，在具有配对 EEG 与其他模态记录的情感任务中，单模态抗噪编码与跨模态预测可能有助于学习共享信息。可复用的是对比编码和表示预测思路，需要改造 EEG 编码器、增强策略及模态对齐方式，并核对情感级对比任务的标签依赖。EEG 低信噪比、跨被试差异、通道配置变化和小样本可能使增强破坏有效信号，或使跨模态预测偏向其他模态。一个小规模检验是在固定跨被试划分、相同编码器和训练预算下，比较基础融合、加入单模态对比编码、再加入跨模态预测的结果，并单独核对情感级任务的增益。该假设不属于原文已验证结果，相关 EEG 工作尚未检索确认。