跳到正文
OpenReview · EEG· Kai Shao; Rui Wang; Yixue Hao; Long Hu; Min Chen; Hans Arno Jacobsen·· 2024-01-01精选AI 评分71

通过多尺度对比学习实现面向抑郁识别的多模态生理信号表征学习

Multimodal Physiological Signals Representation Learning via Multiscale Contrasting for Depression Recognition

AI 导读

基于摘要分析。该研究面向 EEG 与 fNIRS 多模态生理信号的抑郁识别,提出采用 Siamese 架构与多尺度对比学习的表征学习框架 MRLMC,旨在捕捉相同刺激任务下两种模态的互补信息与语义一致性。 方法包括三个环节:首先,通过时域数据增强为 fNIRS 和 EEG 构造不同但相关的数据;随后,利用包含权重共享多尺度时空卷积的时空对比模块学习两种信号的表征;最后,通过语义一致性对比模块最大化 EEG 与 fNIRS 的语义相似性,以强化与刺激任务相关的语义表征。其核心思路是同时约束多尺度时空特征与跨模态任务语义,而非仅将两种模态作为独立特征来源。 作者报告,在公开及自行采集的多模态生理信号数据集上,MRLMC 优于所比较的先进模型,并可迁移至多模态时间序列下游任务。摘要未提供数据集名称、被试规模、具体刺激任务、被试内或跨被试划分、评价指标及数值,因此尚不能判断性能增益的幅度、统计可靠性或跨被试泛化能力,也不能将抑郁识别结果视为已验证的 BCI 控制效果。 复现时需核对时域增强的具体方式、EEG 与 fNIRS 的时间对齐和采样差异处理、卷积权重共享范围、对比样本构造、损失定义及权重,以及下游迁移的训练与评估协议。实验协议、消融及统计信息尚未验证,代码与数据的可获取性亦需进一步确认。

阅读价值

值得核对 MRLMC 如何联合建模 EEG 与 fNIRS 的多尺度时空结构及任务语义一致性,但其性能优势与下游迁移能力仍需结合全文实验协议验证。

来源:OpenReview · EEG · openreview.net