跳到正文
OpenReview · EEG· Xinxu Wei; kanhao zhao; Yong Jiao; Nancy Carlisle; Hua Xie; Yu Zhang·· 2024-09-14精选AI 评分74

预训练图对比掩码自编码器是 EEG 的强效蒸馏器

Pre-Training Graph Contrastive Masked Autoencoders are Strong Distillers for EEG

AI 导读

基于摘要分析。本文研究如何利用大量无标签高密度 EEG,提升标注有限的低密度 EEG 分类性能,将这一问题建模为图迁移学习与知识蒸馏。作者提出 EEG-DisGCMAE,即统一的预训练图对比掩码自编码蒸馏器,连接无标签与有标签数据,以及高密度与低密度电极配置。 核心机制包括三个部分:首先,将 Graph Contrastive Pre-training 与 Graph Masked Autoencoder Pre-training 融合,通过重建对比样本、再对重建结果进行对比,结合对比式与生成式自监督学习。其次,提出 Graph Topology Distillation 损失,使基于低密度 EEG 训练的轻量学生模型向基于高密度 EEG 训练的教师模型学习,并通过对比蒸馏处理缺失电极。最后,在预训练阶段对教师与学生的 queries 和 keys 进行对比,实现联合预训练,将迁移学习与蒸馏衔接起来。摘要未提供图构建方式、掩码策略、损失公式及各项权重,相关实现细节尚未验证。 作者报告,在两个临床 EEG 数据集的四项分类任务上,以大量无标签数据和有限标注数据进行评估,方法在效率与准确率方面显著优于所比较的当代方法。摘要未列出数据集与任务名称、被试数、电极数量、具体指标数值、基线或被试内/跨被试等划分协议,因此无法量化提升,也不能据此认定其在特定 BCI 任务或跨被试场景中的有效性;实验协议、消融及统计信息尚未验证。 复现时需要核对高低密度数据的对应关系、教师与学生的预训练及下游训练流程、无标签数据与测试集的划分,以及效率比较采用的计算与硬件条件。还应检查分类收益分别来自统一自监督预训练、拓扑蒸馏还是联合预训练,并考察不同电极缺失模式与标注规模下的稳定性;这些属于待核对事项,而非对作者实验缺失的判断。

阅读价值

值得阅读的具体原因是将图对比预训练、图掩码自编码与高密度到低密度 EEG 的拓扑蒸馏统一起来,但其准确率与效率优势仍需结合完整实验协议和消融核对。

来源:OpenReview · EEG · openreview.net