跳到正文
OpenReview · State space models· Huajie Chen; Tianqing Zhu; Lefeng Zhang; Bo Liu; Derui Wang; Wanlei Zhou; Minhui Xue·· 2025-01-01精选AI 评分74

QUEEN:用于防御模型提取的查询遗忘

QUEEN: Query Unlearning Against Model Extraction

AI 导读

基于摘要分析。本文研究深度学习模型的模型提取防御:攻击者利用查询输出作为监督标签,训练性能接近原模型的仿制模型。作者提出 QUEEN(QUEry unlEarNing),通过查询敏感度评估与 softmax 输出扰动,主动削弱攻击者从查询结果中学习的能力,而非仅依靠水印或指纹追溯模型所有权。 机制上,QUEEN 以查询在特征空间中到所属簇中心的距离衡量单次查询敏感度;对于高敏感度查询批次,采用通过 gradient reverse 实现的 query unlearning,扰动 softmax 输出,使仿制模型训练产生不利于其性能的反向梯度。这里的“遗忘”针对攻击者利用查询输出进行学习的过程,不能据摘要理解为从原模型中删除指定训练样本。特征提取方式、聚类流程、敏感度阈值及扰动约束尚未验证。 作者报告,在针对多种模型提取攻击的实验中,QUEEN 优于所比较的先进防御方法,同时对原模型准确率的影响相对较小。摘要未提供数据集、攻击者查询预算、对照方法名称或具体指标,因而不能量化收益,也不能判断其在不同攻击知识与接口条件下的适用范围。实验协议、消融及统计信息尚未验证。摘要提供了公开实现地址,但代码内容与复现条件尚未核验。 平台推测(待验证):若 EEG/BCI 分类服务向外部返回 softmax 输出,该机制可能用于保护服务模型免受查询式提取,而不是改善 EEG 解码性能。可复用的是敏感度评估与输出扰动思路;需重新验证 EEG 特征空间中的簇结构、正常用户与攻击查询的区分,以及扰动对正常预测效用的影响。低信噪比、跨被试或通道变化可能使正常查询远离簇中心,小数据也可能导致敏感度估计不稳。一个可检验的小实验是在固定 EEG 分类模型、数据划分及攻击查询预算下,对比无防御与 QUEEN 的原模型 Accuracy 和仿制模型 Accuracy,并检查正常跨被试查询是否更易触发扰动。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其按特征空间敏感度触发的输出扰动机制,以核对主动阻碍模型提取与保留正常预测效用之间的权衡;摘要中的优势尚需结合攻击协议和定量结果验证。

来源:OpenReview · State space models · openreview.net