跳到正文
OpenReview · EEG· Wei-Long Zheng; Wei Liu; Yifei Lu; Bao-Liang Lu; Andrzej Cichocki·· 2019-01-01精选AI 评分75

EmotionMeter:用于识别人类情绪的多模态框架

EmotionMeter: A Multimodal Framework for Recognizing Human Emotions

AI 导读

基于摘要分析。EmotionMeter 针对人类情绪识别,将 EEG 与眼动通过多模态深度神经网络融合,以结合内部认知状态与外部潜意识行为信息;同时设计耳部上方的六电极 EEG 布置,旨在提高实际应用中的可行性与可穿戴性。 核心机制是利用 EEG 与眼动的互补表征,而非仅依赖单一模态。作者报告,多模态融合相较单模态可显著提升识别表现;在 happy、sad、fear 和 neutral 四类情绪识别中,最佳平均 Accuracy 为 85.11%。摘要未明确该数值对应的具体数据划分及被试内或跨被试协议,不能将其直接解释为跨被试泛化能力。作者还报告,EEG 在 happy 情绪分类上具有优势,眼动在 fear 情绪识别上优于 EEG;这些结论应限定于本文实验条件。 为考察时间稳定性,每名被试在不同日期完成三次实验。作者报告,采用六电极 EEG 与眼动特征时,跨会话平均 Accuracy 为 72.39%。这一结果提供了跨日期使用的评估依据,但与 85.11% 的结果对应的协议背景不同,不宜直接计算性能下降或进行同条件比较。 摘要未提供被试人数、数据集名称、情绪诱发方式、EEG 与眼动预处理、模态同步和融合细节、网络结构及训练设置。跨会话训练与测试划分、单模态对照数值、显著性检验、消融及统计信息尚未验证,代码和数据可用性亦尚未确认。复现时应优先核对六电极位置、特征提取流程,以及会话间训练和测试的隔离方式。该研究直接面向 EEG 多模态情绪识别,但其可穿戴设计目标与摘要中的实验结果尚不能等同于真实场景部署有效性。

阅读价值

值得阅读的是六电极 EEG 与眼动融合的可穿戴设计及跨会话评估,作者报告了模态互补性,但具体融合实现、统计依据与复现条件仍需核对全文。

来源:OpenReview · EEG · openreview.net