ResMoE：通过残差恢复实现混合专家大语言模型的空间高效压缩

基于摘要分析。本文研究混合专家（MoE）Transformer 在推理时虽仅为每个 token 激活部分参数、却仍需加载全部模型参数的空间开销问题，提出 ResMoE，通过共享专家与专家残差近似压缩模型，目标是在无需重训练的情况下保持原模型性能。 核心机制是利用 Wasserstein barycenter 提取公共专家（barycenter expert），再近似各原始专家相对于该公共专家的残差，以减少专家参数的存储需求。作者将这一过程描述为一次性、数据无关的压缩；但摘要未给出重心计算、专家参数对齐、残差表示及近似求解的具体实现，不能据此推定其使用低秩分解或特定损失函数。 作者报告，在 Switch Transformer、Mixtral 和 DeepSeekMoE 上的实验中，单个专家的参数量最高可减少 75%，同时保持相近性能。该数字对应专家参数压缩，并不等于整个模型参数量或推理显存减少 75%；摘要未提供对应模型配置、任务、数据集、评估指标、对照方法及性能变化幅度，实验协议、消融及统计信息尚未验证。作者提供了代码地址，但代码内容、运行条件与复现结果尚未核验。 该工作的主要对象是 MoE 大语言模型，而非 EEG 解码或 BCI。平台推测（待验证）：若某个 EEG 模型本身采用具有可共享结构的 MoE 专家，其专家冗余可能成为这一机制的应用入口；但专家对齐与残差压缩需适配该模型，低信噪比、跨被试差异和小数据条件下的重要专家差异也可能被压缩损伤。可检验的小实验是在固定 EEG MoE 与评估协议下比较压缩前后的任务指标、参数量及实际峰值显存，并分被试核对性能变化；这一设想不构成已验证收益，相关 EEG 工作尚未检索确认。