跳到正文
OpenReview · EEG· Rahul Thapa; Bryan He; Magnus Ruud Kjaer; Hyatt Moore IV; Gauri Ganjoo; Emmanuel Mignot; James Y. Zou·· 2024-03-01精选AI 评分80

SleepFM:跨 ECG、EEG 与呼吸信号的睡眠多模态表征学习

SleepFM: Multi-modal Representation Learning for Sleep across ECG, EEG and Respiratory Signals

AI 导读

基于摘要分析。该研究面向睡眠生理信号的多模态表征学习,提出 SleepFM,通过对比学习联合建模同步采集的 EEG、ECG 与呼吸信号,供睡眠分期和呼吸暂停检测等任务使用。主要研究对象是睡眠 PSG 数据及其表征,而非直接的 BCI 控制任务。 数据与机制:作者整理了来自超过 14,000 名参与者、累计超过 100,000 小时的同步 PSG 记录,并将 SleepFM 定位为睡眠多模态基础模型。方法引入 leave-one-out 对比学习;作者报告,相较标准成对对比学习,该策略获得的表征可改善下游任务表现。摘要未交代其具体正负样本构造、模态聚合方式、损失形式及训练规模细节,尚不能据此还原算法。 结果:作者报告,在留出测试集上,检索表现超过随机水平的 500 倍,但检索指标、候选集合及随机基准定义尚未验证。基于学习到的嵌入训练逻辑回归,睡眠分期达到 macro AUPRC 0.69,呼吸暂停检测达到 AUPRC 0.71;摘要所列端到端 CNN 对应结果分别为 AUPRC 0.579 与 0.56。分期基线是否采用相同宏平均口径,以及各任务的数据划分、类别设置和统计信息均需核对,不能将这些指标解读为 Accuracy,也不能据此认定跨被试或跨数据集泛化。 复现重点是确认同步窗口与模态配对规则、leave-one-out 的具体实现、参与者划分、预处理和下游分类器训练条件。实验协议、消融及统计信息尚未验证,模型权重与代码可用性也未在摘要中说明。 平台推测(待验证):同步多模态监督可能有助于学习 EEG 与心肺活动之间的共享睡眠状态,但这不等于已证实的 BCI 收益。若评估其对 EEG 单模态睡眠分析的价值,需确认推理是否依赖全部模态,并检验低信噪比、通道变化和跨被试差异带来的退化。可在固定被试划分与标注量下,对比 leave-one-out、成对对比学习和 EEG 单模态预训练,并测试缺失 ECG 或呼吸信号时的性能;相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是其以同步 PSG 多模态数据开展对比学习,并比较 leave-one-out 与标准成对对比学习的下游表征价值;具体增益及评估协议仍需全文核对。

来源:OpenReview · EEG · openreview.net