跳到正文
OpenReview · EEG· Magdiel Jiménez-Guarneros; Gibran Fuentes Pineda; Jonas Grande-Barreto·· 2025-12-31精选AI 评分73

面向跨被试情绪识别的多模态半监督域适应:跨模态学习与联合分布对齐

Multimodal Semi-Supervised Domain Adaptation Using Cross-Modal Learning and Joint Distribution Alignment for Cross-Subject Emotion Recognition

AI 导读

基于摘要分析。该研究针对 EEG 与眼动(EM)多模态情绪识别中的个体差异,提出半监督域适应方法 CMJDA(cross-modal learning and joint distribution alignment),利用带标签源被试数据、少量带标签目标被试数据及大量无标签目标数据,增强向新被试的知识迁移。 核心机制包含三部分:通过各模态的独立神经网络学习判别特征;促进模态间特征相关性与预测一致性;推动源域与目标域数据的边缘分布和条件分布对齐。其方法重点是将跨模态学习与分布对齐结合,并显式利用有限的目标域标签,而非仅依赖无标签目标数据。具体网络结构、损失形式、各项权重及训练流程尚未验证。 作者报告,在 SEED-IV 和 SEED-V 两个公开情绪识别基准上采用留一交叉验证(LOOCV),仅使用目标被试首个记录试次中每类三个带标签样本,在两个数据集各自可用的三个会话中,平均 Accuracy 为 92.50%–96.13%。摘要未提供该范围与具体数据集、会话的逐项对应关系,也未明确 LOOCV 的具体留出单位及会话组织方式,因此不能将其视为已验证的跨会话结果。 复现需核对目标样本的选取与切分、首个试次的使用方式、无标签目标数据的范围,以及各对照方法是否获得相同的目标标签预算。EEG 与 EM 的预处理、同步、特征提取方式,以及独立模态、跨模态学习和分布对齐的消融结果,均需查阅全文;实验协议、消融及统计信息尚未验证。当前证据支持将其作为少量目标标签条件下的多模态跨被试情绪识别方法进行研究,不宜直接推广为其他 BCI 任务的已验证效果。

阅读价值

值得核对 CMJDA 如何结合少量目标被试标签、跨模态一致性与联合分布对齐改善跨被试情绪识别,尤其是首个试次标注策略及其与对照方法的评估条件。

来源:OpenReview · EEG · openreview.net