面向多模态情感分析的三模态表征混合对比学习

基于摘要分析。本文研究语言、音频与视觉三模态情感分析中的模态差异、样本间及类别间关系学习，以及有限数据下的泛化问题，提出三模态表征混合对比学习框架 HyCon；其主要研究对象并非 EEG 或 BCI。 机制上，HyCon 同时进行模态内、模态间对比学习与 semi-contrastive learning，旨在学习跨模态交互以及样本间、类别间关系。框架引入 refinement term 和 modality margin，以改善单模态样本对的学习，并通过样本对选择机制识别具有信息量的正负样本对、为其赋予权重。作者认为，构造大量训练样本对有助于缓解数据集规模有限带来的泛化限制，但样本对数量增加并不等同于独立观测数据增加。 作者报告，在多模态情感分析和情绪识别实验中，HyCon 优于对照基线。摘要未提供数据集、划分协议、评价指标、数值或具体基线，因此不能判断提升幅度及适用边界。semi-contrastive learning 的监督要求、正负样本对定义、损失形式、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其按信息量筛选并加权跨模态样本对的机制，可作为 EEG 与音频或视觉联合情绪识别的迁移假设，但需先核对原方法依赖的标签、配对方式与数据规模。可考虑复用对比学习和样本对加权思路，改造 EEG 编码、时间对齐及样本对构造；EEG 低信噪比、跨被试差异、通道配置变化与小样本可能导致错误配对或过拟合。一个可检验的小实验是在固定 Cross-subject 划分、相同编码器及训练预算下，对比普通跨模态对比学习与加入样本对筛选加权的版本，检验该机制是否带来稳定收益。已有 EEG 相关工作尚未检索确认。