跳到正文
arXiv · 泛化与分布偏移· Luis Frentzen Salim; Chia-Chun Wu; Tran Van Nhiem; Lun-Wei Ku; Yung-Hui Li·· 4 天前精选AI 评分72

面向域通用混合专家模型剪枝的稳健校准数据集研究

Towards Robust Calibration Dataset for Domain-General Mixture of Experts Pruning

AI 导读

基于摘要分析。本文研究混合专家模型(Mixture-of-Experts,MoE)训练后专家剪枝中,校准数据的选择如何影响域通用评估表现,核心贡献是以 gpt-oss-20b 为对象,实证考察校准集规模、语言及数据分布对逐层专家剪枝的影响,而非提出新的 EEG 或 BCI 方法。 校准集是剪枝流程的一部分,本文关注其组成变化与剪枝后性能之间的关系。摘要未说明专家重要性的计算方式、剪枝比例、校准样本的具体规模或是否更新参数,相关实现条件尚未验证。 作者报告:在所研究的域通用剪枝评估中,相比小样本校准,进一步扩大校准数据规模带来的收益有限;在覆盖七种不同语言类型与文字系统的跨语言评估中,仅使用英语校准仍能维持较强表现;使用类似预训练分布的多样化校准数据,可取得与测试分布校准数据相当或更好的表现。摘要未提供具体语言、任务、指标和分数,因此这些结论不能量化为通用性能增益,也不能直接外推至其他 MoE 模型。 阅读与复现时需核对校准集构造、评估任务与划分、未剪枝及其他剪枝基线、计算预算,以及消融和统计信息;这些内容均尚未验证。本文直接研究的是 MoE 部署中的校准与压缩,摘要未提供 EEG/BCI 数据或验证,已有 EEG 相关工作尚未检索确认,不据此提出已获支持的 BCI 迁移结论。

阅读价值

该研究围绕 gpt-oss-20b 的专家剪枝,比较校准集规模、语言与分布的影响,为核对通用部署场景下的校准数据选择提供了具体线索,但结论的模型适用范围与实验协议尚待全文验证。

来源:arXiv · 泛化与分布偏移 · arxiv.org