融合脑解剖与时间先验的 EEG–视频情绪识别统一框架

基于摘要分析。本文研究 EEG 与视频的多模态情绪识别，提出 EVER（EEG–Video Emotion Recognition），通过图表示建模多通道 EEG 的解剖组织与视频片段间的时间关系，再融合两种模态的信息进行情绪预测。其主要贡献是将生理信号与可观察的行为线索纳入统一的结构化融合框架，并建立公开配对数据集上的对照评估。 机制方面，EVER 分别利用 EEG 的解剖组织先验和视频的时间先验构建结构化特征，随后通过跨模态图，将这些特征与全局模态表示整合。摘要未说明解剖先验如何映射至通道、图节点与边的具体定义、时间关系的构建方式，以及损失函数、训练流程和推理条件，上述实现细节尚未验证。 评估方面，作者在 Emognition 与 MDMER 两个公开 EEG–视频配对数据集上建立基准，评估了 12 个代表性模型，包括 5 个 EEG-only、5 个 video-only 和 2 个 EEG-video 模型。作者报告 EVER 达到 state-of-the-art 性能，并认为联合建模行为线索与生理响应能够识别单一模态难以捕捉的情绪模式；摘要未提供具体指标、分数、被试数量或被试内、跨被试等划分协议，因此不能量化优势或判断其跨被试泛化能力。 复现时需核对两数据集的情绪标签与配对方式、EEG 和视频的同步及预处理、训练测试划分、各基线的配置一致性，以及解剖先验、时间先验和跨模态图的消融结果。实验协议、消融及统计信息尚未验证。该研究的直接对象是多模态情绪识别，摘要结果不应进一步等同于一般 BCI 任务的有效性。