跳到正文
OpenReview · State space models·· 2026-09-13精选AI 评分78

Pretrained Aware Merger Lifting:将预训练模型响应引入模型合并

Pretrained Aware Merger Lifting: Bringing Pretrained Responses into Model Merging

AI 导读

基于摘要分析。本文研究如何在不联合重训练的情况下合并面向不同任务微调的模型,提出 Pretrained Aware merger Lifting(PAL),用共享预训练模型对参数更新的敏感度补充任务向量数值本身未表达的信息。 核心机制:作者报告,受控实验中,相同数值的扰动作用于不同参数位置时,可以产生显著不同的输出响应。PAL 使用少量通用无标签输入估计预训练模型的敏感度,据此构造可逆参数变换,在变换后的坐标中执行原有模型合并规则,再将合并更新映射回原始参数空间。其创新在于改变合并所用的参数坐标,而不是仅依据更新数值进行组合。摘要说明,敏感度估计与变换不需要下游任务数据,且每个 checkpoint 只需计算一次,即可在不同任务集合与合并器之间复用;具体估计方式、变换形式及计算开销尚未验证。 结果与证据边界:作者报告,PAL 在 CLIP 视觉任务、RoBERTa 的 GLUE 评估及 Llama-3.2-3B 能力合并中提升了近期先进合并器的表现,所有受评估基础合并器的汇总分数均有所提高。摘要未提供具体分数、汇总指标定义、任务划分或基线名称,增益幅度、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若多个 EEG 任务模型由同一预训练 checkpoint 微调,且参数结构一致,PAL 的敏感度校准可能用于检验模型合并时不同参数更新的功能影响。可复用部分是坐标变换与既有合并器的组合方式;需适配的是通用无标签 EEG 输入、输出响应的定义及通道配置。低信噪比、跨被试分布差异、通道不一致和小数据可能使敏感度估计不稳定。一个可证伪的小实验是,在统一通道与共享初始化条件下,用固定无标签 EEG 样本估计变换,对比同一基础合并器使用 PAL 前后的跨被试表现,并严格隔离估计数据与测试集。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性证据。

阅读价值

PAL 以预训练模型对参数扰动的响应补充任务向量信息,并通过可逆坐标变换兼容已有合并规则,值得核对其敏感度估计成本及对不同合并器的增益稳定性,但 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net