跳到正文
arXiv · 多模态与生成机制· Jiawei Yu; Syed Irfan Ali Meerza; Yi Wu; Amir Sadovnik; Jian Liu·· 3 天前精选AI 评分72

SemPurify:面向黑盒后门防御的语义感知数据净化

SemPurify: Semantics-Aware Data Purification for Black-box Backdoor Defense

AI 导读

基于摘要分析。本文研究图像模型的黑盒后门防御,提出 SemPurify,在文本到图像(T2I)框架中引入低层语义嵌入与高层图像标签,引导净化后的图像恢复,目标是在破坏后门触发器的同时保留视觉细节与下游任务所需的语义信息。 后门攻击通过在投毒训练样本中植入触发器,使模型在特定输入上产生攻击者期望的预测,同时维持一般输入上的正常行为。现有净化方法利用模糊等图像变换破坏触发器,但可能损伤图像质量;摘要指出,即使结合扩散模型恢复,也可能改变视觉或语义内容。SemPurify 的机制重点是将多层次语义作为恢复条件,利用 T2I 模型进一步修复经过变换的样本,而不只是依赖图像变换本身。语义提取方式、条件注入机制、所需模型访问权限以及是否需要额外训练,尚未验证。 作者报告,在分类模型、CLIP-style encoders 和生成模型等多种后门场景中,SemPurify 能去除后门并保留下游任务的语义信息。摘要未提供数据集、攻击类型、评估划分、攻击成功率、干净任务表现、语义保真指标或计算开销,因此目前不能判断效果幅度及适用边界;实验协议、消融及统计信息尚未验证。 本文的直接研究对象是图像净化与模型安全,并非 EEG 或 BCI。当前材料未建立其语义条件与神经信号之间的具体对应关系,不能据此推断 EEG/BCI 防御效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何通过多层次语义引导图像净化,在去除后门触发器与保留下游任务信息之间取得平衡,但具体防御效果及语义保真度尚需全文中的指标和对照验证。

来源:arXiv · 多模态与生成机制 · arxiv.org