MossNet：状态空间专家混合即多头注意力

基于摘要分析。该研究面向语言建模，针对现有状态空间模型与门控循环模型（SSMs、GRMs）通常仅模拟单个注意力头、可能限制表达能力的问题，提出状态空间专家混合架构 MossNet，以模拟线性多头注意力（MHA）。其主要贡献是将混合专家（MoE）同时用于通道混合的多层感知机（MLP）模块和时间混合的 SSM 核，以实现多个“注意力头”。 机制上，MossNet 不仅通过通道维度的专家组合增加表达能力，也在处理序列时间关系的 SSM 核中引入专家混合。摘要将这一设计描述为模拟线性 MHA，但专家路由方式、状态更新公式、与线性 MHA 的具体对应关系，以及训练损失和推理实现尚未验证，不能据此认定其等价于一般 Transformer 多头注意力。 作者报告，在模型规模和数据预算相近的语言建模及下游评估中，MossNet 优于 Transformer 与 SSM 基线；以数万亿 tokens 训练的更大版本进一步支持其扩展能力。作者还报告，在 Samsung Galaxy S24 Ultra 和 Nvidia A100 GPU 上进行的真实设备分析显示，相比相近规模基线，其运行速度与资源使用具有优势。摘要未提供具体数据集、模型规模、指标数值、设备测试配置或基线细节，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若时间混合专家能够学习互补的序列动态，该机制可能对应 EEG 中不同时间尺度并存的建模需求；这是假设，并非已证实的 BCI 效果。可考察复用时间混合模块，并将语言 token 输入及预测目标改造为 EEG 时序表征和任务监督，但原研究依赖大规模语言序列训练，其优势能否在 EEG 小数据条件下保留尚不明确。低信噪比、通道差异及跨被试分布变化可能导致专家分工不稳定或过拟合。一个可检验的小实验是在固定 EEG 数据划分、参数预算与训练预算下，对比单一 SSM 与时间混合专家版本，分别报告被试内和跨被试结果，以检验专家混合是否带来稳定收益。已有 EEG 相关工作尚未检索确认。