KTU-MEDAFE：用于情感识别的新建多模态数据集与 EEG-语音决策级融合

基于摘要分析。本研究面向多模态情感识别，提出 KTU-MEDAFE（Karadeniz Technical University Multimodal Emotion Dataset using Audio, Facial Images, and EEG），采集同步 EEG、语音与面部视频，并以 EEG 和语音的决策级融合建立分类基线。 数据来自 40 名参与者，在受控情绪诱发条件下采集，包含土耳其语情感语音及分属不同日期的两次记录。该设计提供语言特定的多模态资源，支持被试依赖评估，也为后续按会话分离的分析提供条件；摘要并未确认本研究已完成跨会话评估。尽管数据集包含三种模态，本次实验仅研究 EEG 与语音，不能据此判断面部视频的独立或融合贡献。 方法上，作者将符合信号质量标准的 EEG 与语音记录通过 Angle-Amplitude Graph（AAG）转换为图像表示，再使用 ResNet-50 和 GoogLeNet 进行迁移学习分类，并比较多种决策级融合策略。摘要未提供具体融合规则、质量筛选阈值或训练细节。 作者报告，在所评估的二分类情绪对及被试依赖基线背景下，多模态融合的平均分类表现高于单模态 EEG 和语音模型，但效果随被试、融合策略及模型架构而变化，存在明显的被试依赖性。摘要未给出具体指标及数值，不能量化提升幅度，也不能将结果外推为跨被试、跨会话或自然交互场景下的有效性。 复现时需核对情绪类别、同步与分段方式、训练测试划分、质量筛选流程及融合实现；实验协议、消融及统计信息尚未验证。数据访问方式、许可和代码可用性亦尚未验证。