Model Stock:只需少量微调模型
Model Stock: All We Need Is Just a Few Fine-Tuned Models
基于摘要分析。本文研究大型预训练模型微调后的权重融合问题,提出 Model Stock,以少量微调模型构造最终权重,旨在兼顾分布内(ID)与分布外(OOD)性能,并减少依赖大量模型进行平均的成本。原论文的主要验证对象是基于预训练 CLIP 架构的微调模型,并非 EEG 或 BCI。 核心机制是利用微调权重空间中的几何关系:作者认为,模型性能与权重接近该空间中心的程度存在强关联。据此,Model Stock 使用两个微调模型,通过逐层权重平均近似靠近中心的权重,且可在训练期间或训练结束后应用。摘要未提供中心的具体定义、逐层融合系数及其推导,也未说明模型初始化、微调配置与权重对齐条件,这些均需全文核对。 作者报告,在基于预训练 CLIP 的标准基准 ID 与 OOD 评估中,Model Stock 优于 Model Soup 等方法,并仅增加很少的计算开销。摘要未列出具体数据集、划分、Accuracy 数值或成本计量方式,因此不能量化提升或判断不同协议下的可比性;实验协议、消融及统计信息尚未验证。材料声明代码与预训练模型已公开,但实现细节与复现条件尚未核验。 平台推测(待验证):若 EEG 模型由同一预训练权重出发、架构一致且权重可直接对应,逐层融合可能成为减少多模型集成推理成本的候选方法;这是假设,不是已证实的 BCI 效果。可复用部分是权重空间分析与逐层平均,需重新验证的部分包括融合系数和模型选择策略。EEG 的低信噪比、跨被试差异、通道配置变化及小样本微调可能使权重几何关系不稳定。一个可证伪的小实验是固定预训练模型与数据划分,仅在训练被试上产生两个微调模型并确定融合规则,在留出被试上比较单模型、简单权重平均与 Model Stock,记录相同指标及总训练和推理成本。已有 EEG 相关工作尚未检索确认。
值得核对其仅用两个微调模型近似权重空间中心的逐层平均机制,以及相对 Model Soup 的性能与计算成本证据;其对 EEG 模型的适用性尚未验证。
来源:OpenReview · State space models · openreview.net