MEG-Mamba:面向 MEG 的可扩展状态空间基础模型
MEG-Mamba: A Scalable State-Space Foundation Model for Magnetoencephalography
基于摘要分析。该研究面向源重建并按脑区分区的 MEG 信号,提出基于 Mamba 架构的生成式基础模型 MEG-Mamba,探索以状态空间架构替代 Transformer,提升神经活动生成建模的可扩展性。其主要研究对象是 MEG 生成与表征,而非 EEG 解码或在线 BCI 控制。 核心机制是将 MEG 信号离散化,以脑区和记录会话为条件预测下一个 token。作者通过生成数据的空间—频谱特征及所学嵌入分析评价模型,并引入基于 LoRA 的轻量级刺激条件化,以生成预训练中未包含的任务诱发响应;这不等同于证明模型无需任务适配即可泛化。 作者报告,在与 Transformer 替代模型 MEG-GPT 的比较中,MEG-Mamba 具有更高的生成保真度,预训练耗时为 22 GPU-hours,对照为 400 GPU-hours;建模上下文为 4 s,对照为 0.32 s。摘要未提供硬件、训练数据规模、计算预算匹配方式及保真度指标,因此这些数字仅适用于文中所述比较,不能据此推导普遍加速比或解码性能提升。作者还报告,刺激条件化后可生成逼真的任务诱发响应,具体任务、适配数据与评估协议尚未验证。 复现需核对源重建与脑区分区流程、离散化方法、会话条件的构造、训练与测试划分,以及 LoRA 适配和生成评价细节。数据集、被试数、消融及统计信息尚未验证,代码与权重开放情况亦未确认。 平台推测(待验证):其长上下文自回归建模可能为 EEG 时序生成提供可复用骨干,但源空间脑区序列不能直接等同于传感器 EEG;离散化和条件编码需适配通道布局,并检验低信噪比、跨被试差异及小数据条件下的失效风险。可在固定 EEG 数据划分、token 化方案和硬件预算下,小规模比较 Mamba 与 Transformer 的生成空间—频谱一致性及训练成本。已有相关 EEG 工作尚未检索确认。
值得核对其源空间 MEG 离散化与条件生成方案,以及相对 MEG-GPT 的训练成本和上下文优势,但生成保真度、计算预算可比性及向 EEG 迁移的有效性仍需正文与实验验证。
来源:arXiv · EEG 基础模型 · arxiv.org