跳到正文
OpenReview · EEG· Enze Shi; Kui Zhao; Qilong Yuan; Jiaqi Wang; Huawen Hu; Sigang Yu; Shu Zhang·· 2024-01-01精选AI 评分74

FoME:采用自适应时间–横向注意力缩放的 EEG 基础模型

FoME: A Foundation Model for EEG using Adaptive Temporal-Lateral Attention Scaling

AI 导读

基于摘要分析。FoME 面向 EEG 信号异质性、低信噪比及标注数据有限的问题,提出结合时频融合嵌入与自适应时间–横向注意力缩放的 EEG 基础模型,旨在统一建模不同数据流中的时间、频谱和多通道信息。 核心机制包括 time-frequency fusion embedding 和 adaptive time-lateral attention scaling(ATLAS)。作者称,前者融合时间与频率信息,后者使注意力机制适应不同 EEG 数据流的模式变化,两者共同支持复杂 EEG 动态和多通道建模。摘要未给出融合方式、注意力缩放公式、预训练目标或训练损失,尚不能据此判断其具体实现及各组件的独立贡献。 预训练方面,作者报告使用包含头皮 EEG 与颅内 EEG 记录的多样化数据,规模为 1.7 TB;模型包含 745M 参数,训练 1,096k 步。摘要未说明数据集名称、被试构成、通道配置、采样率或预处理方式,也未明确不同记录类型如何统一表示。这些条件影响预训练覆盖范围及复现成本,需要全文核对。 结果方面,作者报告在四项下游任务上评估 FoME,覆盖分类与预测应用,并称持续取得 state-of-the-art 结果。但摘要未提供具体任务、指标、分数、对照模型,以及被试内、跨被试、跨会话或跨数据集划分,因此目前无法量化优势,也不能将这些结果直接解释为特定 BCI 范式上的有效性。实验协议、消融及统计信息尚未验证。 复现时应重点核对 ATLAS 的计算定义、时频融合与单独表征的对照、预训练数据与下游评估的关系,以及各任务的适配方式。摘要称代码将公开,但未确认代码或预训练权重已可获取。作者提出其可支持 BCI、临床诊断与认知研究;这些应用范围仍需各自的任务级证据支持。

阅读价值

值得核对 FoME 的时频融合嵌入与 ATLAS 如何处理 EEG 时间动态及多通道异质性,但其性能优势与跨场景适用性仍需结合全文中的评估协议和消融验证。

来源:OpenReview · EEG · openreview.net