用于无数据持续模型合并的零空间过滤:保持稳定性,促进可塑性
Null-Space Filtering for Data-Free Continual Model Merging: Preserving Stability, Promoting Plasticity
基于摘要分析。本文研究无数据持续模型合并(DFCMM):在不访问任务数据的条件下,将独立微调的模型持续融合到同一骨干模型,兼顾旧任务的稳定性与新任务的可塑性。作者提出 NUFILT(NUll-space FILTering),以任务向量与表征子空间的近似对齐关系,为参数空间中的过滤和适配提供结构性依据。 核心机制是构造零空间投影器,过滤新任务向量中与既有知识重叠的分量,以降低对旧任务响应的干扰;同时引入轻量 LoRA 适配器,补充新任务特有的信号。适配器使用基于投影的代理损失训练,在保持与既有知识一致性的同时引入新方向。更新随后以逐层线性方式融合回骨干模型;作者称该过程不增加最终模型的参数量或推理成本,并给出近似子空间对齐的理论保证。投影器构造、子空间估计、损失公式及理论成立条件尚未验证。 作者报告,在视觉和 NLP 基准的持续模型合并评估中,NUFILT 相较 OPCM 与 WUDI-Merging 将平均 Accuracy 提高 4–7%,遗忘较少,并缩小与微调的差距、降低计算开销。摘要未明确该百分比是相对提升还是百分点变化,亦未提供具体数据集、任务顺序、划分、绝对分数及计算测量条件,因此不能据此作跨协议比较。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):若多个 EEG 解码模型由同一骨干分别微调,且合并阶段不能访问原始信号,该机制可能用于跨被试或跨会话模型的持续融合;这是假设,不是本文已证实的 BCI 结果。可复用部分是任务向量过滤与适配器融合,需验证 EEG 参数更新是否具有相应子空间结构。低信噪比、通道差异和小样本微调可能使任务向量不稳定,过滤也可能误删新任务所需方向。一个可证伪的小实验是固定通道与任务,让同一 EEG 骨干按被试独立微调,在不使用任务数据的合并阶段比较 NUFILT、直接合并及仅过滤版本,并在独立测试集上分别评估旧被试保持与新被试适应。已有 EEG 相关工作尚未检索确认。
值得核对的是 NUFILT 如何以任务向量的子空间结构替代任务数据,并通过零空间过滤与 LoRA 适配兼顾旧任务保持和新任务吸收;其对子任务模型持续合并的 EEG 适用性尚未验证。
来源:OpenReview · State space models · openreview.net