MoE参数高效微调的设计权衡

基于摘要分析。本文研究混合专家（MoE）LLM 在资源受限条件下如何进行参数高效微调（PEFT），核心贡献是系统考察适配模块、MoE 适配粒度、PEFT 方法及负载均衡目标的使用强度，而非提出 EEG 或 BCI 专用算法。 研究在三个 MoE 骨干模型上评估下游任务表现与通用知识能力保留。作者报告，在可比的参数预算下，仅适配 MoE 专家可获得最高的下游表现，同时保持有竞争力的通用能力保留；直接更新原生专家权重，相较绕过专家或整个 MoE 模块的适配器，具有更好的下游表现与能力保留权衡。在所评估的 PEFT 方法中，作者报告 LoRA 与 DoRA 形成了下游 Accuracy 较高的最佳工作区间。对于负载均衡目标，作者报告没有任何非零系数方案在 Pareto 意义上支配零系数基线；这一结果不等于所有场景都应取消负载均衡。 作者还在 Qwen3 上评估了 MoE²-LoRA 的权重级重设计，将其模块级旁路池移入原生专家权重。作者报告，相较所述重设计前方案，四项上游评估端点均提升 2.4–17.9 个点，可训练参数减少 17%，代价是下游平均表现降低 3.2 个点。摘要未提供这些端点的指标定义与完整对照配置，因此不能将上述变化直接解释为 Accuracy 的百分点变化。 具体骨干版本、任务与数据划分、参数预算匹配方式、训练超参数、消融及统计信息尚未验证。其阅读价值主要在于提供 MoE 微调设计与能力保留之间的实证比较；材料未建立这些结论与 EEG 低信噪比、跨被试或小样本适配之间的具体机制对应，不宜据此推断 BCI 增益。已有 EEG 相关工作尚未检索确认。