Flow Merge:用于模型合并的 Flow Matching
Flow Merge: Flow Matching for Model Merging
基于摘要分析。本文研究如何将独立训练的多个模型合并为一个尽量保留各组成模型准确率的检查点,提出 FlowMerge:不预设权重空间中的直线路径,而是通过 flow matching 学习激活空间中的路径,探索线性插值之外的模型合并机制。 摘要将多数既有方法的依据概括为 Linear Mode Connectivity 假设,即 SGD 训练所得模型位于同一损失盆地,可通过检查点之间的线性插值进行合并。FlowMerge 的主要区别是将路径学习转向激活空间,以输运式表述处理独立模型的组合。不过,摘要未说明激活如何配对、路径如何参数化、具体训练目标,以及如何由激活路径得到最终单一检查点;这些机制细节尚未验证。 作者报告,在 CIFAR-10 上,使用 MLP 和 ResNet-20 时,FlowMerge 相对 Git Re-Basin 的准确率分别提高 10 和 33 个百分点。摘要未提供绝对准确率、数据划分、组成模型的训练设置、合并所需数据或计算预算,因此这些差值仅能按所述数据集、架构与对照解读,不能据此判断跨架构或跨任务的普遍优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):激活空间路径学习可能为跨被试 EEG 模型的表征对齐与合并提供方法线索,但原研究对象是图像分类模型,并未报告 EEG/BCI 结果。迁移假设依赖各模型具有可对应的任务语义、可比较的激活,以及可用于路径学习的数据;可尝试复用 flow matching 思路,但需改造 EEG 编码器的表征接口与通道对齐方式。低信噪比、被试差异、通道配置不一致及小样本可能使激活对齐失效。待完整实现可得后,可在同一 EEG 任务、统一通道配置和固定跨被试划分下,比较 FlowMerge、线性插值与 Git Re-Basin,并保持合并数据和计算预算一致,检验其是否改善未见被试的 Accuracy。已有 EEG 相关工作尚未检索确认。
值得核对 FlowMerge 如何将激活空间中的 flow matching 路径转化为单一合并模型,以及其相对 Git Re-Basin 的优势是否依赖特定训练与合并协议;对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net