无数据持续模型合并中的零空间过滤:保持透明性,提升保真度
Null-Space Filtering for Data-Free Continual Model Merging: Preserving Transparency, Promoting Fidelity
该研究针对无数据持续模型合并(DFCMM):在不访问任务数据的条件下,将独立微调模型持续融合进同一骨干,同时兼顾旧任务的稳定性与新任务的可塑性。作者提出 NUFILT,以任务向量作为表征子空间的结构性替代,通过零空间过滤和轻量 LoRA 适配实现参数空间更新。以下基于摘要分析,未取得论文全文。 核心机制是作者提出的近似对应关系:任务向量与表征子空间大致对齐。零空间投影器过滤新任务向量中与既有子空间重叠的分量,以保留旧任务响应;LoRA 适配器注入互补的任务特定信号,并以基于投影的代理损失维持既有知识一致性、引入新方向。更新最终以逐层线性方式融合回骨干,作者称不增加最终模型参数或推理成本。作者还给出近似子空间对齐的理论保证,但其假设、误差界和适用条件尚未核对。 作者报告,在视觉与 NLP 基准的无数据持续合并评估中,NUFILT 相比 OPCM 和 WUDI-Merging 将平均 Accuracy 提高 4–7%,遗忘较少,同时缩小与微调的差距并降低计算开销。摘要未明确该增幅是相对百分比还是百分点,也未提供具体数据集、任务顺序、数据划分及分项结果,不能据此进行跨协议比较。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未检查。 平台推测(待验证):若 EEG 任务模型由同一骨干独立微调、参数可对应且任务向量可获得,该机制可能用于研究跨被试或跨会话模型合并中的旧任务遗忘。可复用部分是任务向量过滤与适配更新融合;需重新验证 EEG 表征与参数子空间的对齐关系,并处理通道配置和任务输出差异。低信噪比、小数据及被试差异可能使任务向量主要反映噪声,导致过滤有效新信息或保留干扰。一个可证伪的小实验是在共享初始化、相同通道配置下,顺序合并少量被试的微调模型,对照直接合并、仅过滤和完整方法,以预先固定的独立测试划分测量旧任务与新任务 Accuracy。此为迁移假设,不是已证实的 BCI 效果;已有 EEG 相关工作尚未检索确认。
值得核对 NUFILT 如何以任务向量近似表征子空间,并通过零空间过滤与 LoRA 代理优化兼顾旧任务保留和新任务适应;其无数据合并效果及向 EEG 模型迁移的可行性仍需分别验证。
来源:OpenReview · State space models · openreview.net