跳到正文
OpenReview · State space models·· 2026-03-17精选AI 评分70

Gradient Firewall:抵御恶意微调的零空间阻断

Gradient Firewall: Null-Space Blocking Against Malicious Fine-Tuning

AI 导读

基于摘要分析。本文研究开源 Large Language Models(LLMs)面对恶意训练者微调时的安全防御,提出嵌入模型架构的 Unidirectional Safety Gate(USG),通过阻断不安全样本的反向梯度,抑制模型学习有害模式;研究对象是 LLM 安全,而非 EEG 或 BCI 信号建模。 核心机制是将 Null Space Cubic Layer 与 Adapter 串联,作为插件插入最后一个 Transformer 层之后。作者通过零空间提取获得 cubic layer 的参数,再训练 Adapter 恢复模型能力。USG 在反向传播时充当梯度过滤器;摘要将其防御范围表述为针对已见过的有害数据进行监督微调(SFT)时阻断梯度回传,不能据此推断其对任意未见攻击数据均有效。零空间的具体构造、样本安全性如何体现为梯度阻断,以及 Adapter 的训练目标尚未验证。 作者报告,实验中 USG 能在保持良性数据上模型效用的同时抵御有害微调。摘要未提供模型名称、数据集、攻击配置、对照基线或量化指标,因此尚不能判断防御强度与效用代价。实验协议、消融及统计信息尚未验证;尤其需要核对攻击者可修改哪些参数或模块,以及安全门能否被移除、绕过或重新训练。 该机制依赖有害样本与零空间构造之间的关系,但材料未给出其与 EEG 训练瓶颈的具体对应证据,不据此提出 BCI 迁移效果或复现实验建议。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是利用零空间结构在反向传播中阻断有害样本梯度的架构内防御机制,但其保护范围、对未见有害数据的泛化及面对可修改模型结构的恶意训练者的稳健性尚未验证。

来源:OpenReview · State space models · openreview.net