跳到正文
OpenReview · State space models· Zihuan Qiu; Yi Xu; Chiyuan He; Fanman Meng; Linfeng Xu; Qingbo Wu; Hongliang Li·· 2025-09-19精选AI 评分76

MINGLE:用于测试时持续模型合并的零空间门控低秩专家混合

MINGLE: Mixture of Null-Space Gated Low-Rank Experts for Test-Time Continual Model Merging

AI 导读

基于摘要分析。本文研究如何在不访问原始训练数据的条件下,顺序整合独立微调的模型,同时缓解任务间参数干扰、灾难性遗忘及测试分布变化。作者提出 Test-Time Continual Model Merging(TTCMM)任务及 MINGLE 框架,在推理期间利用少量无标签测试样本进行适应与动态模型合并。 核心机制包括三个部分:以参数高效的低秩专家构成 mixture-of-experts 架构,提高对变化分布的适应能力;通过 Null-Space Constrained Gating,将门控更新限制在与先前任务表征正交的子空间,旨在抑制对旧任务的激活干扰并保留既有知识;通过 Adaptive Relaxation Strategy,根据测试时适应中观察到的干扰信号动态调整约束强度,在稳定性与适应性之间取得平衡。摘要未给出专家构造、表征保存方式、零空间计算、适应损失或干扰信号定义,具体实现尚未验证。 作者报告,在标准持续模型合并基准及多种任务顺序下,MINGLE 能减少遗忘、改善泛化,相对既有最先进方法的平均提升为 7–9%。摘要未明确该提升对应何种指标、是相对百分比还是百分点,也未列出基准、基线与数据划分,因此不能据此作跨协议比较。实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但代码内容及复现条件尚未核验。 平台推测(待验证):若不同被试或会话已有可兼容、独立微调的 EEG 模型,低秩专家与受约束门控可能用于探索持续合并及跨会话分布适应;这依赖兼容的模型参数结构、可比较的任务表征及少量无标签测试数据。专家路由和约束松弛机制可能复用,但表征提取、干扰估计与适应目标需针对 EEG 改造。低信噪比、小样本及通道差异可能使子空间估计或门控更新不稳定。可在固定通道配置的跨会话任务中,比较不适应、无约束门控与完整机制,分别检查新会话性能和旧会话遗忘。该假设不代表已验证的 BCI 效果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以零空间约束门控和自适应约束松弛协调测试时适应与旧任务保持的机制,但摘要中的性能提升尚需结合具体指标、任务序列及对照协议验证。

来源:OpenReview · State space models · openreview.net