用于情绪识别的多尺度时频空 EEG 学习:结合模态特异与模态不变表征
Multiscale Temporal-Spectral-Spatial EEG Learning With Modality-Specific and Modality-Invariant Representations for Emotion Recognition
基于摘要分析。该研究针对 EEG 情绪模式在时间、频带、电极及脑区间的变化,以及不同生理模态中特异与共享情感信息的融合问题,提出以 EEG 为中心的多模态情绪识别框架 GMSI-Net。核心贡献是将多尺度 EEG 编码、受控跨模态信息交互和共享表征对齐结合起来。 技术上,temporal-spatial-spectral-region(TSSR)编码器建模多尺度时间—通道模式、微分熵特征及从局部到全局的脑区关系。模态特异表征(MSR)分支通过双向跨模态注意力与可学习门控控制信息传递,并保留各模态特有线索;模态不变表征(MIR)分支学习共享情感表征,以自适应加权对比损失实现跨模态对齐。外周生理信号由独立的多尺度 Conv-Transformer 编码器处理;摘要未列明具体外周信号类型。 作者报告,在 DEAP 与 MAHNOB-HCI 上采用被试内随机十折交叉验证:DEAP 的 valence 和 arousal 结果分别为 96.21(1.47)与 96.41(1.60),MAHNOB-HCI 分别为 94.10(2.86)与 94.48(3.77)。摘要未明确这些数值的指标名称、单位及括号内统计量含义,因此不能直接标为 Accuracy 或解释为均值与标准差。作者据此认为,结合 EEG 与互补生理信息有助于情绪识别,但摘要未提供具体对照差值。 复现时需核对信号预处理、分段与随机折划分单位、标签定义、门控及对比损失实现,以及各分支相对 EEG 单模态基线的贡献。上述实验协议细节、消融及统计信息尚未验证;被试内随机十折结果不能直接作为跨被试、跨会话泛化或实际 BCI 有效性的证据。
来源:arXiv · EEG 与神经表征 · arxiv.org