跳到正文
OpenReview · State space models· Long Minh Bui; Tuan Anh Le Van; Tung Phi Duc; Phi Le Nguyen; Jana Doppa; Trong Nghia Hoang·· 2026-06-01精选AI 评分77

将模型合并表述为微调参数空间中的概率推断

Model Merging as Probabilistic Inference in Fine-Tuning Parameter Space

AI 导读

基于摘要分析。本文研究如何在不进行额外数据驱动微调的情况下,将已有单任务模型合并为多任务模型;核心贡献是将模型合并表述为 product-of-experts(PoE)框架下的概率推断,并引入重尾 Cauchy 专家以刻画任务更新方向的统计特性。 方法上,每个单任务解在合并参数空间中定义一个能量模型(EBM)专家,通过组合专家进行推断。作者指出,若对合并模型与任务模型之间的方向残差采用特定能量设计,若干已有合并方法可视为该框架的特例,并隐含 Gaussian 假设。作者报告,所考察残差往往呈重尾分布,因此提出基于 Cauchy 专家的 PoE 设计,并给出具有可证明收敛性的推断过程。具体残差定义、能量函数、优化步骤及收敛保证的适用条件尚未验证。 作者报告,在多个任务和架构上,该方法相对先进基线取得显著改进;摘要未列出任务、数据集、指标、划分及改进幅度,不能据此判断收益范围或统计显著性。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现完整性与复现条件尚未核验。 平台推测(待验证):其可能对应的 EEG 问题,是在保留多个专用解信息的同时减少联合训练需求,而非直接改善信号特征提取。一个可检验假设是:若多个 EEG 模型采用共同初始化、兼容参数结构及一致的输入输出定义,可尝试合并各被试或会话上微调得到的参数。PoE 推断框架可能复用,但通道差异、任务输出和参数对应关系需要适配;低信噪比、小数据及被试差异也可能使有用更新与噪声难以区分,重尾设计未必带来收益。小规模验证可在固定跨被试划分下,对比不合并、简单参数平均与该方法,并检查参数残差分布和各被试性能变化。原领域结果不构成 EEG/BCI 有效性证据,已有 EEG 相关工作尚未检索确认。

阅读价值

该研究把模型合并中的更新方向评价转化为概率推断,并以残差重尾性解释 Gaussian 假设的潜在失配,值得核对其 Cauchy 专家设计、收敛条件及相对基线的实证收益。

来源:OpenReview · State space models · openreview.net