跳到正文
OpenReview · EEG· Siyuan Kan; Huanyu Wu; Zhenyao Cui; Fan Huang; Xiaolong Xu; Dongrui Wu·· 2025-12-31精选AI 评分71

CMCRD:用于情绪识别的跨模态对比表征蒸馏

CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition

AI 导读

基于摘要分析。该研究针对情绪识别中单模态采集便利但准确率可能受限、多模态采集成本与复杂度较高的矛盾,提出跨模态对比表征蒸馏方法 CMCRD:训练时使用 EEG 与眼动,测试时仅使用 EEG 或眼动,以利用训练期多模态信息而不增加测试期的模态需求。 核心机制是利用预训练的眼动分类模型辅助 EEG 分类模型训练,改善 EEG 特征提取;摘要也说明可反向利用 EEG 模型辅助眼动模型。其重点不是测试时融合两种模态,而是将跨模态信息迁移至单模态分类模型。摘要未给出对比目标、蒸馏损失、表征对齐方式、预训练流程及模态配对要求,相关实现细节尚未验证。 作者报告,在三个多模态情绪识别数据集、三种不同神经网络架构的实验中,CMCRD 展现出有效性;相较仅使用 EEG 的模型,平均分类 Accuracy 提高约 6.2%。原摘要未明确该增幅是相对百分比还是百分点,也未列出数据集名称、被试数、被试内或跨被试划分及各架构结果,因此不能将该数字解读为跨被试泛化收益或直接用于跨论文比较。 该方法与 EEG 情绪识别直接相关,但结果不能自动外推至其他 BCI 任务。复现时需核对训练与测试的数据划分、教师模型预训练所用数据、单模态基线的训练条件,以及不同迁移方向的收益。实验协议、消融及统计信息尚未验证;代码与模型权重的可用性也未由现有材料确认。

阅读价值

CMCRD 将训练期 EEG 与眼动的跨模态知识迁移与测试期单模态采集分离,值得核对其蒸馏机制及相对单模态基线的评估协议,以判断性能收益能否在简化采集条件下复现。

来源:OpenReview · EEG · openreview.net