面向混合专家语言模型的重建优化专家剪枝

基于摘要分析。本文针对 Mixture-of-Experts（MoE）语言模型虽通过稀疏专家激活减少计算、部署时却仍需存储大量专家参数的问题，提出训练后专家剪枝方法 OptEP。其核心是使用任务域校准数据，选择固定数量的专家以尽可能重建原 MoE 层输出，并对保留专家的权重进行轻量更新。 方法将专家剪枝表述为子集选择问题：精确搜索随专家数量增加而难以扩展，因此 OptEP 采用可扩展的连续松弛，直接优化可微的专家选择变量，再执行基于重建的权重更新。其值得关注的机制是以原层输出重建质量指导专家选择，并通过后续权重适配补偿剪枝影响；具体松弛形式、优化目标及权重更新实现尚未验证。 作者报告，在覆盖数学推理和代码生成任务的多种 MoE 架构上，OptEP 优于其比较的现有专家剪枝基线，涉及 Qwen3-30B-A3B、Qwen3-235B-A22B、GLM-4.5-Air 与 Mixtral-8x7B，且优势在激进剪枝条件下更明显。摘要给出了各模型的最大准确率绝对增益，但未明确对应任务、专家保留比例及基线配置，不能据此作同协议横向比较。 复现需核对校准数据规模与来源、评估划分、逐层专家预算、路由处理、剪枝与更新成本，以及参数存储下降是否转化为实际部署收益；实验协议、消融及统计信息尚未验证。本文的直接研究对象是语言模型压缩，不能据此认定其对 EEG 或 BCI 有效，相关工作尚未检索确认。