跳到正文
OpenReview · EEG· Yucheng Liu; Ziyu Jia; Haichao Wang·· 2023-01-01精选AI 评分72

EmotionKD:用于基于生理信号的情绪识别的跨模态知识蒸馏框架

EmotionKD: A Cross-Modal Knowledge Distillation Framework for Emotion Recognition Based on Physiological Signals

AI 导读

基于摘要分析。该研究针对 EEG 与 GSR 多模态情绪识别中 EEG 采集成本高、使用不便的问题,提出跨模态知识蒸馏框架 EmotionKD,将融合后的多模态知识迁移至单模态 GSR 模型,目标是在减少 EEG 采集依赖的同时维持情绪识别性能。其主要研究对象是生理信号情绪识别,而非 EEG 单模态解码。 机制上,EmotionKD 在统一框架下建模 EEG 与 GSR 的异质性和交互关系,并通过知识蒸馏增强 GSR 模型。另一关键设计是自适应反馈机制:多模态模型根据蒸馏过程中单模态模型的表现动态调整,以进一步指导单模态模型。摘要未披露具体特征融合结构、蒸馏目标、反馈更新规则,以及训练所需信号的配对与同步条件,相关实现尚未验证。 作者报告,该方法在两个公开数据集上达到最先进性能,并有望以较小性能损失降低对多模态数据的依赖;但摘要未给出数据集名称、情绪标签、指标数值、对照基线及被试内、跨被试或跨会话划分,因此不能据此判断收益幅度或泛化范围。实验协议、消融及统计信息尚未验证。 摘要提供了源代码地址,可作为复现入口,但代码完整性与运行条件尚未验证。阅读全文时值得重点核对:单模态 GSR 推理是否完全不依赖 EEG、自适应反馈相对常规蒸馏的独立贡献,以及不同数据划分下的性能与采集成本权衡。摘要中的结果不能直接视为 EEG 解码或 BCI 性能提升的证据。

阅读价值

值得关注其将 EEG 与 GSR 融合知识蒸馏至单模态 GSR 模型、并以学生表现反馈调整多模态模型的机制,但性能收益及部署时的数据依赖仍需结合全文协议核验。

来源:OpenReview · EEG · openreview.net