脑解剖引导的 EEG–视频情绪识别统一框架

基于摘要分析。本文研究如何融合 EEG 的生理信息与视频中的可观察行为线索进行情绪识别，提出统一框架 EVER（EEG–Video Emotion Recognition）。其核心贡献是以脑解剖先验组织 EEG 通道与脑区表征，再与全局 EEG、视频嵌入融合，并引入基于相关性的分布对齐损失以减小跨模态差异。 技术机制方面，EVER 使用 Brain anatomy-aware Inter-modal Hierarchical Graph Convolution Network（BIH-GCN），在解剖先验引导下将 EEG 通道特征聚合为脑区级表征；这些表征与全局 EEG 和视频嵌入共同构成情绪分类表示。摘要未说明图的构建方式、脑区划分、视频编码器、模态间交互细节或对齐损失的具体数学形式，因此尚不能判断结构先验与分布对齐各自贡献多少。 评估覆盖三个公开 EEG–视频配对数据集 Emognition、MDMER 和 EAV。作者报告评估了 12 个代表模型，包括 5 个 EEG-only、5 个 video-only 和 2 个 audio-video 模型，并在 EEG、视频及 EEG–视频设置下报告性能；各模型如何适配这些设置尚未验证。作者报告 EVER 达到领先性能，并认为联合建模能够识别单一模态难以捕捉的情绪模式，但摘要未提供具体指标、数值、数据划分或统计不确定性，不能据此量化融合收益，也不能确认被试内、跨被试或跨会话泛化能力。 复现时需核对 EEG 与视频的时间同步、通道到脑区的映射、配对样本及情绪标签的构建、训练与测试划分，以及不同模态对照的输入和训练条件。区分脑区聚合、全局表征融合与对齐损失的作用，是验证机制贡献的关键；实验协议、消融及统计信息尚未验证。该研究直接面向 EEG–视频情绪识别，其结果不应自动等同于在线 BCI 的有效性。