统一 EEG 与语音用于情绪识别：处理推理时 EEG 数据缺失的两阶段联合学习框架

基于摘要分析。该研究面向自动情绪识别（AER），提出两阶段联合多模态学习方法 JMML，在训练时利用 EEG 与语音学习情绪表征，目标是在推理时缺少 EEG 的情况下仍能仅凭语音进行情绪识别。主要贡献是将模态内学习与跨模态相关性学习结合，以把 EEG 提供的信息融入可用于语音情绪识别的表征。 第一阶段使用 JEC-SSL，分别对 EEG 和语音进行独立的模态内学习；摘要未展开 JEC-SSL 的具体机制。第二阶段采用作者提出的扩展深度典型相关跨模态自编码器 E-DCC-CAE，将两种模态映射到共同表征空间，使其表征具有尽可能高的相关性。所得情绪嵌入随后用于机器学习分类器。具体损失形式、两阶段训练衔接、推理时仅由语音生成嵌入的路径及分类器配置尚未验证。 作者报告实验结果支持该方法的有效性，但摘要未提供数据集、被试数量、情绪类别、数据划分、对照基线或量化指标，因此尚不能判断增益大小，也不能确认其在被试内、跨被试或跨会话条件下的泛化能力。复现时需核对 EEG 与语音的配对及时间对齐方式、预处理、训练与测试隔离方式，以及相对于仅语音训练和其他缺失模态方法的比较；实验协议、消融及统计信息尚未验证。 作者以语音可能被刻意伪装、EEG 采集依赖专门设备作为研究动机，但摘要中关于 EEG 更可靠且无法伪装的表述不应视为已证实的一般结论。作者还声称，据其所知，这是首次以联合多模态学习结合语音与 EEG 实现可靠 AER；相关优先性尚未检索确认。本研究的直接任务是情绪识别，摘要不足以支持其对其他 BCI 任务有效的结论。