BlackMamba：面向状态空间模型的混合专家架构

基于摘要分析。本文主要研究大规模语言建模与长序列处理中的计算效率问题，提出 BlackMamba，将 Mamba 状态空间模型（SSM）与混合专家（MoE）结合，以兼顾序列长度上的线性复杂度与较低的训练、推理计算成本。 核心机制是组合两类架构：SSM 提供随序列长度线性增长的时间与内存复杂度，MoE 以更大的模型内存占用换取计算效率。摘要未披露专家路由、专家数量、模块布局、损失函数或训练细节，不能据此确定具体实现。该研究依赖大规模 token 序列训练；作者报告在自定义数据集的 300B tokens 上完整训练了两种模型规格，原文记为 340M/1.5B 与 630M/2.8B，但摘要未解释各组数值的参数口径。 在摘要所述评估中，作者报告 BlackMamba 的表现可与 Mamba 和 transformer 基线竞争，并在训练与推理 FLOPs 上更有优势；具体任务、数据划分、基线配置及量化指标尚未验证，不能将 FLOPs 优势直接等同于实际延迟优势。作者报告已开源模型权重、检查点与推理代码，这为核对实现及效率结论提供了条件。实验协议、消融及统计信息尚未验证，复现仍需确认数据可获取性、训练配置与硬件条件。 平台推测（待验证）：若线性序列建模与条件专家计算能够迁移，可能有助于降低长时段 EEG 建模的计算成本，但原领域有效不等于 BCI 有效。可考虑复用 SSM 与 MoE 组合机制，改造连续多通道信号输入和任务输出；低信噪比、跨被试差异、通道变化及小数据规模可能使路由不稳定或专家过拟合。一个可证伪的小实验是假设其组合优于单独 Mamba，在同一 EEG 任务、固定跨被试划分及一致训练预算下进行对照，同时测量任务指标、显存和实测延迟。已有 EEG 相关工作尚未检索确认。