MINGLE:用于测试时连续模型合并的零空间门控低秩专家混合
MINGLE: Mixtures of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging
基于摘要分析。本文研究连续模型合并:在不访问原始训练数据的条件下,顺序整合独立微调的模型,同时应对任务间参数干扰、灾难性遗忘和变化的测试分布。作者提出 Test-Time Continual Model Merging(TTCMM),利用推理阶段少量无标签测试样本进行适应,并提出 MINGLE 框架。 核心机制是采用参数高效的低秩专家混合架构,通过动态合并模型缓解冲突并适应测试分布。其 Null-Space Constrained Gating 将门控更新限制在与先前任务表征正交的子空间中;作者认为这可以抑制更新对旧任务的激活影响,从而保留已有知识。Adaptive Relaxation Strategy 则根据测试时适应过程中观测到的干扰信号动态调整约束强度,平衡稳定性与适应性。摘要未说明适应目标、零空间估计方式、干扰信号定义及松弛规则,具体实现尚未验证。 作者报告,在标准连续模型合并基准及多种任务顺序下,MINGLE 改善泛化并减少遗忘,相比此前最先进方法平均提升 7–9%。摘要未给出基准名称、指标、数据划分和具体对照,也未明确该数值是相对百分比还是绝对百分点,因此不能直接解释为 Accuracy 增益。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码内容与复现条件尚未核验。 平台推测(待验证):若不同被试或会话的 EEG 模型由兼容的基础模型独立微调,且部署时可获得少量无标签数据,低秩专家与受约束门控可能用于缓解跨被试或跨会话模型合并中的干扰。可复用的是专家组合及约束更新思路;需要改造的是 EEG 表征、通道对齐、测试时适应目标和干扰检测。低信噪比、小样本和被试差异可能使旧任务子空间估计不稳定,过强约束也可能阻碍新分布适应。一个可检验的小实验是在统一通道和模型结构的 EEG 任务中,顺序合并独立微调模型,仅用预先划定的无标签适应片段更新门控,在独立评估片段上比较无适应合并、无约束门控与受约束门控的旧任务保持及新任务表现。已有 EEG 相关工作尚未检索确认。
值得核对其零空间门控约束与自适应松弛能否兼顾连续模型合并中的旧任务保持和测试分布适应,但摘要中的增益口径及向 EEG 场景迁移的有效性尚未验证。
来源:OpenReview · State space models · openreview.net