差分注意力实现 EEG 与语音的互补融合以进行情感识别

基于摘要分析。该研究针对 EEG 与语音多模态情感识别中，EEG 伪迹可能污染共享表征、使简单融合不及较强单模态的问题，提出 EmoSpeechBrain。其核心思路是先通过差分注意力抑制 EEG 噪声，再通过注意力门控实现两种模态的对齐与加权融合。 机制上，EEG 编码器对两张注意力图取差，旨在抵消共同噪声并提取具有判别力的神经活动；注意力门控适配器将 EEG 与语音映射至共享空间，并调节各模态对预测的贡献。摘要将“先降噪、再融合”作为主要设计依据，但注意力图的具体构造、训练目标、语音编码器及门控实现尚未验证，不能仅凭注意力差分认定其已分离真实神经信号与伪迹。 在 PME4 和 EAV 两个数据集上，作者报告，相较其他被其称为 SOTA 的 EEG 编码器，EmoSpeechBrain 的多模态情感识别 Accuracy 最高提升 12.9%；相较单模态语音和 EEG 基线，最高分别提升 13.1% 和 23.1%。摘要未说明这些提升是相对百分比还是百分点，也未提供各项最大收益对应的数据集、具体基线、绝对 Accuracy，以及被试内、跨被试或跨会话划分，因此不能将这些数字直接解释为跨被试泛化能力。 复现时需核对差分注意力与门控适配器各自的消融、两模态时间对齐及伪迹处理流程，并确认单模态与融合模型是否采用一致的数据划分和评估条件。被试规模、实验协议、消融及统计信息尚未验证；摘要支持其作为 EEG—语音融合方法的研究线索，但尚不足以确认降噪机制及融合优势的适用边界。