用于面部情绪识别的脑机耦合学习方法

基于摘要分析。本文针对少样本条件下面部情绪识别（FER）模型泛化能力受限的问题，提出脑机耦合学习方法，在训练阶段联合使用面部情绪图像及其诱发的 EEG，使视觉模型同时学习图像信息与 EEG 所表征的认知信息；推理阶段无需 EEG，仅使用图像完成分类。 机制上，视觉域和认知域模型均包含共享通道与私有通道。认知域模型通过解码图像诱发的 EEG 表征脑活动，视觉域共享通道则学习接近认知域的处理表征；各域私有通道通过对抗策略学习域特有知识。训练完成后，将视觉域共享与私有通道的输出拼接，用于面部情绪分类。这里的主要研究对象是视觉识别，EEG 是训练期的辅助信息来源，并非部署时必须输入的信号；不能据此认定模型完整复现了人脑认知过程。 作者报告，该方法在若干公开数据集上获得良好表现，利用 EEG 训练后还能在新数据集上表现出良好的泛化能力，并可应用于其他网络模型。但摘要未提供数据集名称、样本及被试数量、图像与 EEG 的配对方式、训练测试划分、对照基线或具体指标，因此无法量化性能收益，也无法确认新数据集评估的具体协议。 复现时需核对共享表征的约束方式、对抗目标、图像与 EEG 的时序及样本对应关系，以及去除 EEG 辅助训练、共享通道或私有通道后的对照结果。实验协议、消融及统计信息尚未验证；摘要也未交代代码与数据获取条件。其证据目前支持作者提出的视觉识别辅助训练思路，不应外推为 EEG 解码或在线 BCI 性能已获提升。