跳到正文
OpenReview · State space models· Bethan Evans; Benjamin Etheridge; S Roberts; Jared Tanner·· 2026-05-25精选AI 评分77

通过输出空间投影进行模型合并

Model Merging by Output-Space Projection

AI 导读

基于摘要分析。本文研究如何将多个微调检查点合并为一个多任务模型而无需重新训练,核心贡献是把残差更新上的模型合并表述为凸二次规划(QP),利用校准输入及微调模型输出,求得最小化平方输出校准目标的合并权重。 机制与创新:作者将 task arithmetic、model soups、TIES 和 DARE 等方法作为现有参照,并指出其依赖启发式设计。所提框架将这些方法纳入特例,同时给出一个闭式诊断量:所选基底捕获的残差能量比例,用于仅凭校准集预测下游合并质量。这里的最优性针对所定义的校准目标,不应等同于下游任务性能的全局最优保证;残差、基底及目标函数的具体定义尚需全文核对。 结果与扩展:作者报告,在单层设置下,QP 的表现达到或超过现有方法,并分析最优基底何时相较成本更低的对角 QP 带来显著收益。作者进一步提出顺序逐层算法,将方法扩展到多层合并,并报告在语言和视觉基准上获得一致收益。摘要未提供基准名称、指标数值、校准集规模、划分或计算开销;实验协议、消融及统计信息尚未验证,也不能由单层目标的最优性推导多层整体最优性。 平台推测(待验证):若多个 EEG 任务或被试的微调模型共享兼容参数结构及输出语义,可假设输出空间校准有助于选择合并权重,对应跨被试模型整合的需求。可复用部分是残差更新的 QP 权重求解与能量诊断,需改造部分包括 EEG 校准输入、输出对齐及共享基底。低信噪比、通道差异和小规模校准数据可能使诊断量难以泛化至未见被试。一个可检验的小实验是在输出标签一致、通道已对齐的跨被试任务中,固定骨干与校准预算,比较 QP 和 task arithmetic,并检验能量诊断是否能预测独立测试集的合并表现。该方法已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是将模型合并的启发式权重选择转化为可求解的凸二次规划,并提供仅依赖校准集的合并质量诊断;其最优性范围与多层扩展的适用条件仍需结合全文核对。

来源:OpenReview · State space models · openreview.net