HMD 中的情绪识别：利用生理信号与受遮挡面部的多任务方法

基于摘要分析。该研究针对扩展现实（XR）中头戴式显示器（HMD）遮挡面部、影响 Facial Expression Recognition（FER）的问题，提出结合 EEG、皮肤电反应（GSR）与部分可见面部表情的多模态多任务方法，同时预测情绪效价（valence）与唤醒度（arousal）。主要研究对象是遮挡条件下的情绪识别，而非 BCI 控制任务。 技术上，摘要明确采用特征级融合，将 EEG、GSR 生理信号与受遮挡的面部表情信息结合，并涉及宏表情与微表情。时间序列生理信息被用于补充视觉模态，但各模态的编码方式、时间对齐、融合结构、多任务损失及宏表情与微表情的具体处理方式尚未验证，不能据此推断网络结构。 作者报告，在部分遮挡条件下，该方法提高了情绪识别准确率，加入时间序列生理信号尤其改善了半脸情绪识别表现。摘要未提供具体数值、数据集、被试数量、划分协议或对照方法，因此无法判断增益幅度，也无法区分被试内与跨被试泛化能力。实验协议、消融及统计信息尚未验证。 复现时需核对面部遮挡是否对应真实 HMD 使用情境、生理与视频信号如何同步，以及 EEG、GSR 各自的增量贡献。作者提出实时应用及社交 XR 应用的潜力，但摘要未提供推理延迟或在线测试证据，该应用前景不等于已验证的实时能力。