跳到正文
OpenReview · EEG· Magdiel Jiménez-Guarneros; Gibran Fuentes-Pineda; Jonas Grande-Barreto·· 2025-01-01精选AI 评分73

利用跨模态学习与联合分布对齐的多模态半监督域适应:面向跨被试情绪识别

Multimodal Semi-Supervised Domain Adaptation Using Cross-Modal Learning and Joint Distribution Alignment for Cross-Subject Emotion Recognition

AI 导读

基于摘要分析。该研究针对 EEG 与眼动(EM)多模态情绪识别中的个体差异问题,提出半监督域适应方法 CMJDA(cross-modal learning and joint distribution alignment),利用有标签源域数据、少量有标签目标域数据及大量无标签目标域数据,改善向新被试的知识迁移。 方法包含三个相互配合的机制:通过各模态独立的神经网络提取判别性特征;促进模态间特征相关性与预测一致性;对源域和目标域的边缘分布、条件分布进行对齐。相较于摘要所描述的主要依赖无标签目标域数据的既有方法,其研究重点是进一步利用有限目标标签,并结合跨模态学习与分布对齐。具体网络结构、损失形式、对齐实现及各机制的独立贡献尚未验证。 作者报告,在 SEED-IV 和 SEED-V 两个公开情绪识别基准上,采用留一交叉验证(LOOCV)进行跨被试评估,仅使用目标被试首次记录试次中每类三个有标签样本,在两个数据集各自三个可用会话上的平均 Accuracy 为 92.50%–96.13%。摘要未逐项列明数据集与会话对应的分数,也未给出对照方法及其结果,因此不能据此量化相对提升或与不同协议的结果直接比较。 复现时应重点核对 LOOCV 的具体划分、目标域有标签与无标签样本的选取及评估边界、首次试次标签的获取方式,以及 EEG 与眼动的预处理、同步和融合细节。该设置依赖少量目标被试标签及两种模态,不能直接解释为完全无标签新用户或仅 EEG 场景下的效果。实验协议、消融及统计信息尚未验证。

阅读价值

值得核对 CMJDA 如何结合少量目标被试标签、跨模态一致性与联合分布对齐来改善跨被试情绪识别,尤其需验证目标样本选取和 LOOCV 协议对作者报告结果的影响。

来源:OpenReview · EEG · openreview.net