基于多模态深度学习的多模态情绪识别
基于摘要分析。该研究针对多生理信号情绪识别，采用多模态深度学习构建情感模型，目标是改善识别性能并降低实际应用中的生理信号采集成本。其主要贡献是围绕单模态增强、多模态促进及跨模态学习，考察 Deep AutoEncoder（DAE）与 Bimodal Deep AutoEncoder（BDAE）生成的共享表征。 技术上，摘要将 DAE 共享表征用于单模态增强，将 BDAE 用于多模态促进；跨模态学习则考察 EEG 与眼动表征之间的训练—测试迁移。摘要未提供编码器结构、共享表征的具体构造方式、损失函数或训练流程，因此尚不能判断不同模态如何对齐，以及推理阶段需要哪些信号。 作者报告：在单模态增强任务中，使用 DAE 共享表征在 SEED 上取得最高 Accuracy 82.11%；在多模态促进任务中，BDAE 在 SEED 和 DEAP 上的平均 Accuracy 分别为 91.01% 和 83.25%。作者称其优于当时的先进方法，但摘要未列明具体对照及其协议，不能据此判断优势幅度或公平可比性。 在 SEED 的跨模态学习任务中，作者报告，以 EEG-based DAE 生成的共享表征作为训练样本、以 eye-based DAE 生成的共享表征作为测试样本，并反向交换训练与测试模态，平均 Accuracy 为 66.34%；摘要未明确该数值如何在两个方向间汇总。 上述结果的被试内或跨被试设置、跨会话设置、数据划分及平均方式尚未验证，不宜将不同任务的 Accuracy 直接比较。实验协议、消融及统计信息尚未验证；降低采集成本是否在实际部署中实现，也需结合全文中的模态使用条件核对。
阅读价值：值得阅读的具体原因是其将多模态情绪识别区分为单模态增强、多模态促进和跨模态学习，可用于考察 EEG 与眼动共享表征的作用，但各任务的数据划分与采集成本收益尚需全文核对。