PhysioSync:受生理同步启发的时间与跨模态对比学习,用于基于 EEG 的情绪识别
PhysioSync: Temporal and Cross-Modal Contrastive Learning Inspired by Physiological Synchronization for EEG-Based Emotion Recognition
基于摘要分析。本文针对 EEG 情绪识别中的噪声、伪迹和个体差异,以及既有多模态方法对 EEG 与外周生理信号(PPS)动态同步关系建模不足的问题,提出对比预训练框架 PhysioSync。其核心贡献是同时学习跨模态一致性与不同时间分辨率下的情绪相关动态,再通过分层特征融合和微调完成情绪识别。 机制上,Cross-Modal Consistency Alignment(CM-CA)用于建模 EEG 与互补 PPS 之间的动态关系,学习情绪相关的跨模态同步;Long- and Short-Term Temporal Contrastive Learning(LS-TCL)则在模态内部捕捉长短期、不同时间分辨率的情绪同步。预训练后,框架分层融合跨分辨率与跨模态特征。摘要提到 GSR 是可补充 EEG 的 PPS 示例,但未明确各项实验实际使用的信号组合。对比学习的正负样本构造、时间窗口、对齐方式、损失形式及融合结构尚未验证;这里的“同步”应理解为作者的方法动机与学习目标,不能据此认定已验证生理因果机制。 作者报告,在 DEAP 和 DREAMER 上,PhysioSync 在单模态与跨模态条件下取得较优的情绪识别表现。摘要未提供具体指标、数值、对照基线或数据划分,因而无法量化提升,也不能判断结论适用于被试内、跨被试还是跨会话评估。单模态条件下预训练是否仍依赖 PPS、推理阶段需要哪些模态,同样需核对全文。 复现时应重点核对多模态时间配准与预处理、长短期时间尺度设置、预训练和微调的数据边界,以及 CM-CA、LS-TCL 和分层融合各自的消融贡献。实验协议、消融及统计信息尚未验证;当前材料支持其作为 EEG 情绪识别表征学习方案的研究价值,不支持将结果外推至其他 BCI 任务或真实场景的稳健性。
值得阅读的具体原因是 PhysioSync 将 EEG 与外周生理信号的跨模态一致性及长短期时间动态共同纳入对比预训练,但其收益来源和跨被试适用性仍需全文实验协议与消融验证。
来源:OpenReview · EEG · openreview.net