跳到正文
OpenReview · EEG· Jingying Ma; Feng Wu; Qika Lin; Yucheng Xing; Chenyu Liu; Ziyu Jia; Mengling Feng·· 2025-01-01精选AI 评分75

CodeBrain:融合解耦分词器与多尺度架构的 EEG 基础模型

CodeBrain: Bridging Decoupled Tokenizer and Multi-Scale Architecture for EEG Foundation Model

AI 导读

基于摘要分析。CodeBrain 针对 EEG 通道配置、序列长度和任务目标差异带来的模型迁移困难,提出结合解耦分词器与多尺度架构的 EEG 基础模型,以两阶段训练学习通用表征。 第一阶段,TFDual-Tokenizer 独立对异质的时域和频域成分进行离散编码。作者称该设计可使离散表征空间获得二次方级扩展,并通过跨域 token 分析提供一定可解释性;具体码本规模、组合方式、分词器训练目标及解释性验证尚未验证。第二阶段,EEGSSM 将结构化全局卷积与滑动窗口注意力结合,分别覆盖稀疏长程依赖和局部依赖,并以掩码自监督学习预测 TFDual-Tokenizer 产生的 token 索引。 相较全连接 Transformer,作者认为 EEGSSM 更符合脑组织的小世界拓扑,能够高效捕捉 EEG 的多尺度结构。这是作者对架构的机制解释,尚不能仅凭摘要认定其具有经验证的生物学对应关系或明确的计算效率优势。 作者报告,在 10 个公开 EEG 数据集上采用线性探测评估,实验支持 CodeBrain 的泛化能力。摘要未列出数据集名称、任务、指标、基线或数据划分,因此不能判断这些结果分别对应被试内、跨被试、跨会话还是跨数据集协议,也不能量化性能提升。需进一步核对预训练与下游评估的数据关系、通道差异处理方式,以及解耦分词器和全局—局部架构各自的贡献;实验协议、消融及统计信息尚未验证。 复现方面,摘要说明代码和预训练权重将在未来版本发布,当前材料不足以确认可用实现。复现还需核对预处理流程、掩码策略、码本设置、预训练数据组成及线性探测配置。

阅读价值

值得关注其时域与频域解耦离散表征及全局—局部依赖建模的组合机制,但跨数据集泛化的具体协议、效率收益与拓扑解释仍需全文核对,代码和预训练权重尚待发布。

来源:OpenReview · EEG · openreview.net