跳到正文
OpenReview · State space models· Yuanyi Wang; Yanggan Gu; Su Lu; Yifan Yang; Zhaoyi Yan; Congkai Xie; Jianmin Wu; Hongxia Yang·· 2026-05-25精选AI 评分75

访问集合至关重要:为可扩展的权重空间模型合并分配专家读取预算

Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging

AI 导读

基于摘要分析。本文研究 LLM 权重空间模型合并中的读取成本瓶颈,提出预算感知执行层 MergePipe:在给定合并算子、且各检查点共享权重坐标系的前提下,选择显式 I/O 预算内需要访问的专家权重增量块,而非默认读取所有专家权重。其主要贡献是将合并执行转化为专家访问集合规划问题。 机制上,MergePipe 对参数块建立索引,生成确定性的访问计划,并通过可重放清单执行相应的预算化合并。作者称,计划在构造上满足预算约束,预算足够时可恢复完整读取的合并结果;对于固定系数的加性合并算子,遗漏更新的误差可由被省略增量的范数界定。该误差界有明确的算子条件,不能直接推广至任意合并方法,也不等同于下游任务性能保证。 作者报告,在 Qwen 和 Llama 的模型合并工作负载中,专家读取 I/O 最多减少一个数量级,最高实现 11 倍加速;代表性的预算扫描中,相对完整读取合并的参数偏差为 O(10^{-3}),下游基准未呈现单调退化。摘要未给出具体模型规模、基准名称、预算点、硬件和计时范围,也未说明参数偏差的度量与归一化方式,因此这些结果只能按所述工作负载理解,不能解读为普遍无损加速。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 基础模型的多个微调检查点共享权重坐标系,且权重合并确有显著读取开销,这类访问预算机制可能用于降低合并成本;它并非 EEG 解码算法,也未提供 BCI 有效性证据。模型规模较小或读取并非瓶颈时,执行规划开销可能抵消收益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其将 LLM 权重合并的成本显式建模为专家权重读取预算,并提供可重放执行计划及限定条件下的误差界;实际性能收益与下游质量的权衡仍需核对完整实验。

来源:OpenReview · State space models · openreview.net