跳到正文
OpenReview · State space models· Yayuan Li; Jian Zhang; Jintao Guo; Zihan Cheng; Lei Qi; Yinghuan Shi; Yang Gao·· 2025-12-31精选AI 评分77

MAGIC:通过幅值校准实现更优的模型合并

MAGIC: Achieving Superior Model Merging via Magnitude Calibration

AI 导读

基于摘要分析。本文研究如何在尽量不增加训练的条件下,将多个专门微调模型的能力合并到统一模型中。作者提出 MAGnItude Calibration(MAGIC),通过校准特征空间与权重空间的逐层幅值,缓解模型合并后相对原专门模型的特征偏移。 核心机制是将特征分为方向与幅值两个组成部分。作者认为,既有研究主要关注方向对齐,而参数融合、稀疏化等合并操作也会扰动幅值,进而影响性能。MAGIC 包含三种变体:Feature Space Calibration(FSC)使用少量无标签数据校准合并模型的特征幅值;Weight Space Calibration(WSC)在权重空间进行校准,不需要额外数据;Dual Space Calibration(DSC)结合两者。摘要称上述方法无需额外训练,但未提供校准公式、层级选择及其计算成本。 作者报告,在计算机视觉任务的八个数据集上性能提升为 +4.3%,在基于 Llama 的 NLP 任务上为 +8.0%。摘要未说明对应指标、相对增幅还是百分点变化、汇总方式及具体对照基线,因此不能据此进行跨任务直接比较。数据划分、模型兼容条件、校准样本规模、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):若多个 EEG 专门模型具有可合并的参数结构,幅值校准可能用于检验跨被试或跨会话模型合并中的特征尺度偏移。可复用的是 FSC/WSC 的校准思路,需改造的是 EEG 校准数据的构造与适用层选择;低信噪比、通道配置差异及小样本可能使幅值估计不稳定,幅值本身也可能包含任务信息。一个可检验的小实验是在固定模型结构和合并策略下,使用独立无标签校准集,对比不校准、FSC、WSC 与 DSC,并在预先固定的跨被试测试划分上报告同一指标及特征幅值变化。该假设不代表已证实的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将特征幅值偏移作为模型合并误差来源的机制,以及无标签数据校准与无额外数据校准的适用边界;摘要报告了跨任务收益,但指标定义与实验协议尚未验证。

来源:OpenReview · State space models · openreview.net