Model Stock:只需少量微调模型
Model Stock: All we need is just a few fine-tuned models
基于摘要分析。本文研究大型预训练模型微调后如何以较少模型进行权重平均,同时获得良好的分布内(ID)和分布外(OOD)性能,主要验证对象是基于预训练 CLIP 架构的微调模型,而非 EEG 或 BCI。作者提出 Model Stock,利用两个微调模型近似构造接近权重空间中心的最终权重,减少传统多模型平均所需的模型数量。 核心机制是逐层权重平均。作者指出,微调模型的性能与其权重接近权重空间中心的程度存在较强关联,并据此设计可在训练期间或训练结束后使用的平均方法。摘要未提供中心的具体定义、平均系数计算方式及其理论成立条件,尚不能据此还原算法。 作者报告,在基于预训练 CLIP 的标准 ID 与 OOD 基准上,Model Stock 仅使用两个微调模型即可取得优于 Model Soup 等方法的准确率,且额外计算需求很小。摘要未列出具体数据集、划分、准确率数值及计算成本口径,实验协议、消融及统计信息尚未验证。材料提供了代码和预训练模型地址,但其内容、运行环境及复现一致性尚未核验。 平台推测(待验证):若 EEG 模型由同一预训练权重初始化,且结构和参数坐标一致,逐层权重平均可能用于缓解微调方差,对应小数据微调及跨被试泛化的部分瓶颈;其前提是不同微调解具有可平均的权重结构,原领域结果不等于 BCI 有效。可复用的是平均机制,需重新验证中心估计及微调策略是否适用于 EEG。低信噪比、被试差异、通道配置变化和小样本可能使平均后的模型失效。一个可检验的小实验是在固定跨被试划分下,从同一 EEG 预训练模型得到两个微调模型,对比单模型、简单等权平均与 Model Stock,并保持训练数据和预算一致,报告预先指定指标的多次运行结果。已有 EEG 相关工作尚未检索确认。
值得核对其仅用两个微调模型进行逐层权重平均、逼近权重空间中心的机制及与 Model Soup 的对照,但其对 EEG 跨被试泛化的价值尚未验证。
来源:OpenReview · State space models · openreview.net