STEAM:用于 EEG 解码的分层预训练时空对齐专家混合模型
STEAM: A Spatio-TEmporal Alignment Mixture-of-Experts Model with Hierarchical Pre-training for EEG Decoding
基于摘要分析。STEAM 针对 EEG 基础模型难以兼顾通用迁移能力、解码准确性与下游适应效率的问题,提出分层迁移框架,将通用表征学习与目标范式专项化相结合。其核心是双分支时空编码器及共享软专家混合模块(SSMoE),并在通用初始化基础上进一步开展范式专项预训练。 机制方面,空间分支与时间分支通过 SSMoE 对齐,借助一组紧凑的软槽位(soft slots)交换互补信息。该设计将时空表征交互作为模型的核心机制,而不是仅分别提取两类特征。摘要未给出软槽位构造、专家路由、训练目标及具体网络配置,相关实现尚未验证。 作者报告,在七个下游数据集、十四种评估设置中,STEAM 在所比较方法中取得最佳平均排名,并具有以 FLOPs 衡量的竞争性推理成本。该结论是跨所列评估设置的平均排名结果,不能据此认定每项任务均最优;摘要未提供数据集名称、被试内或跨被试等协议、对照方法和具体分数。FLOPs 也不能直接替代实际部署延迟或下游训练成本。 预训练方面,作者报告,从 Stage-I 通用初始化出发,分层策略无需从头重新训练即可针对目标范式专项化,并带来一致的范式专项解码 Accuracy 提升;具体增幅及适用任务尚未验证。阅读全文时值得核对 SSMoE 与分层预训练各自的贡献、不同阶段的数据使用与划分,以及专项化所需的数据量和计算成本。实验协议、消融、统计信息及复现资源尚未验证。
值得核对其共享软专家混合模块能否有效协调 EEG 时空表征,以及分层预训练相较通用初始化的范式专项收益与适应成本;摘要报告了多数据集结果,但具体协议和收益幅度尚未验证。
来源:arXiv · EEG 基础模型 · arxiv.org