跳到正文
OpenReview · State space models· Zhenqian Zhu; Yamin Hu; Yiya Diao; Weixiang Li; Haodong Li; Wenjian Luo·· 2026-05-01精选AI 评分74

从参数空间到特征空间:用于模型合并后门缓解的任务算术

From Parameters to Feature Space: Task Arithmetic for Backdoor Mitigation in Model Merging

AI 导读

基于摘要分析。本文研究模型合并(Model Merging,MM)中的后门攻击防御,提出 Linear Feature Path Minimization(LFPM):向含后门的合并模型引入反后门任务向量,并从特征空间指导优化,以兼顾后门抑制与干净任务性能。 核心机制是利用 Cross-Task Linearity(CTL)框架所描述的跨任务特征近似线性关系,将合并模型的后门鲁棒性置于统一的特征空间视角下分析。与直接编辑参数空间的既有任务算术防御相比,LFPM 以这一特征空间视角指导反后门任务的优化;摘要还提出结合梯度累积与损失路径积分的优化机制,目标是在插值路径上持续抑制后门。具体损失形式、积分计算方式、任务向量构造,以及防御所需数据和模型访问权限尚未验证。 作者报告,LFPM 在全量微调和 Parameter-Efficient Fine-Tuning(PEFT)设置下均表现出较强的后门鲁棒性。摘要未提供数据集、攻击类型、对照方法、效果数值或干净任务性能变化,因而无法量化安全收益与性能代价;实验协议、消融及统计信息尚未验证。需进一步核对 CTL 近似成立的条件,以及路径优化相对直接参数编辑的独立贡献。 平台推测(待验证):若 EEG 模型由共享初始化的多个任务或被试微调模型合并而成,LFPM 的任务向量与路径约束机制可能用于研究合并时的后门防御,但原领域结果不等于 BCI 有效性。可复用的是任务向量操作和路径优化思路,需改造的是 EEG 特征约束、触发模式及干净数据选择;低信噪比、跨被试分布差异、通道不一致和小样本可能破坏跨任务近似线性假设。一个可检验的小实验是在固定跨被试划分与相同攻击设置下,对比直接参数编辑和 LFPM,联合评估攻击成功率与干净任务 Accuracy。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LFPM 如何通过特征空间约束与插值路径优化缓解模型合并中的后门,同时保留干净任务性能;摘要尚不足以验证其效果幅度及适用边界。

来源:OpenReview · State space models · openreview.net