BrainDuo:面向 EEG 基础模型的双域词元化与预训练
BrainDuo: Dual-Domain Tokenization and Pretraining for EEG Foundation Models
基于摘要分析。BrainDuo 针对 EEG 基础模型难以同时保留时序与频谱信息、捕获多尺度时空依赖的问题,提出结合双域时频码本、离散与连续监督及双视图预训练的通用 EEG 表征学习方法,并在下游解码中引入 BCI 任务特定先验。 方法包含三个核心组件:Duo Codebook 学习共享的时频词表;Duo Latent 将离散编码与连续嵌入共同用于预训练监督;DuoView Pretraining 使用循环注意力与聚类注意力,分别编码各通道内的时间上下文及相邻电极间的拓扑上下文。其设计重点是将时频信息保留与局部、长程依赖建模结合,而不是仅依赖扩大预训练规模。摘要未给出码本构建、监督损失、注意力连接方式及具体预训练目标,这些实现细节尚未验证。 作者报告,在涵盖 10 项代表性 EEG 任务、14 个数据集的实验中,BrainDuo 在通用 EEG 基准上优于较强的 EEG 基础模型基线,并缩小了与 BCI 任务专用模型的性能差距。摘要未列出具体任务、数据集名称、指标、数值及数据划分,因此无法判断收益对应被试内、跨被试、跨会话还是跨数据集协议,也不能据此认定其超过任务专用模型。 复现时需重点核对:双域码本与双重监督的独立贡献,循环及聚类注意力对不同电极布局的适配方式,以及下游 BCI 任务先验的具体实现与对照条件。预训练数据规模、预训练与下游数据关系、实验协议、消融及统计信息,以及代码和权重可用性均尚未验证。
值得核对双域词表、离散与连续监督以及通道内和电极间注意力各自的贡献,并检验引入 BCI 任务先验后的收益能否在一致评估协议下成立。
来源:OpenReview · EEG · openreview.net