访问集合至关重要:为可扩展的权重空间模型合并分配专家读取预算
Access Sets Matter: Budgeting Expert Reads for Scalable Weight-Space Model Merging
基于摘要分析。本文研究 LLM 权重空间模型合并中的读取成本瓶颈,提出预算感知执行层 MergePipe:在给定合并算子、且各检查点共享权重坐标系的前提下,选择显式 I/O 预算内需要访问的专家权重增量块,而非默认读取所有专家权重。其主要贡献是将合并执行转化为专家访问集合规划问题。 机制上,MergePipe 对参数块建立索引,生成确定性的访问计划,并通过可重放清单执行相应的预算化合并。作者称,计划在构造上满足预算约束,预算足够时可恢复完整读取的合并结果;对于固定系数的加性合并算子,遗漏更新的误差可由被省略增量的范数界定。该误差界有明确的算子条件,不能直接推广至任意合并方法,也不等同于下游任务性能保证。 作者报告,在 Qwen 和 Llama 的模型合并工作负载中,专家读取 I/O 最多减少一个数量级,最高实现 11 倍加速;代表性的预算扫描中,相对完整读取合并的参数偏差为 O(10^{-3}),下游基准未呈现单调退化。摘要未给出具体模型规模、基准名称、预算点、硬件和计时范围,也未说明参数偏差的度量与归一化方式,因此这些结果只能按所述工作负载理解,不能解读为普遍无损加速。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 基础模型的多个微调检查点共享权重坐标系,且权重合并确有显著读取开销,这类访问预算机制可能用于降低合并成本;它并非 EEG 解码算法,也未提供 BCI 有效性证据。模型规模较小或读取并非瓶颈时,执行规划开销可能抵消收益。已有 EEG 相关工作尚未检索确认。
值得关注其将 LLM 权重合并的成本显式建模为专家权重读取预算,并提供可重放执行计划及限定条件下的误差界;实际性能收益与下游质量的权衡仍需核对完整实验。
来源:OpenReview · State space models · openreview.net