SLEM：谱感知的潜在空间专家合并

基于摘要分析。本文研究 Mixture-of-Experts（MoE）模型的专家压缩：虽然每次输入只激活少量专家，但全部参数仍需驻留内存。作者提出 Spectrum-Aware Latent Expert Merging（SLEM），在 VAE 构建的专家权重潜在表示中合并专家，旨在减少参数存储开销，同时避免依赖校准数据。 核心机制是依据潜在相似性在层内及跨层对专家分组，由专家权重谱推导合并系数，再进行几何感知的潜在插值，并解码为合并后的专家权重。作者指出，现有方法直接在参数空间进行凸插值，并不一般保证专家函数之间具有有意义的插值；依靠校准数据估计相似性或合并系数，也可能引入对校准分布的依赖。SLEM 的方法价值在于将合并空间与系数估计分别转向结构化潜在表示和权重谱，但摘要不足以确认其函数保持性质或理论保证。 作者报告，相较现有专家合并方法，SLEM 在通用知识基准上取得相当或更好的表现，在涉及数学推理和代码生成的生成基准上取得更高的平均表现。摘要未提供具体模型、基准名称、合并比例、对照配置、指标或数值，因而不能判断性能收益的幅度及适用边界。VAE 的训练数据与目标、权重谱的具体定义、跨层权重兼容方式、合并后的路由处理，以及净内存收益、运行开销、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 基础模型采用 MoE，专家合并可能用于降低部署时的权重存储负担，可复用的是权重表示、分组和插值机制；需改造或核对的是 EEG 专家结构、通道配置与路由兼容性。该假设依赖可供合并的已训练专家及足够的权重结构共性，不能由语言任务结果推出 EEG/BCI 有效性。低信噪比、被试差异和小数据条件下，合并可能损伤少数被试或稀有模式对应的专家能力。一个可检验的小实验是在已有 EEG MoE 上固定压缩比例，对比 SLEM、直接参数合并与未压缩模型，在一致的跨被试划分下同时核对任务指标、峰值内存和各被试性能变化；已有 EEG 相关工作尚未检索确认。