跳到正文
OpenReview · State space models· Biao Yi; Sishuo Chen; Yiming Li; Tong Li; Baolei Zhang; Zheli Liu·· 2024-01-01精选AI 评分71

BadActs:激活空间中的通用后门防御

BadActs: A Universal Backdoor Defense in the Activation Space

AI 导读

基于摘要分析。本文研究深度神经网络开发阶段的后门安全问题,提出 BadActs:不在词空间直接修改输入,而在激活空间净化后门样本,目标是在去除触发器的同时保留干净内容。摘要以词、句法等信息为例阐释机制,不能据此认定其已在 EEG 或 BCI 上验证。 核心机制是将异常激活拉向经优化的最小干净激活分布区间,并结合基于异常激活统计信息的检测模块,以改善干净数据 Accuracy 与防御性能之间的权衡。作者认为,激活空间既包含词等表层信息,也包含句法等高层语义概念,因此能够应对不同类型的触发器;连续、细粒度的激活调整则有助于减少净化对干净内容的损伤。相较于摘要所述的词空间净化方法,其主要方法差异是把防御位置转移到模型内部表示。 摘要未提供数据集、攻击配置、对照方法或量化结果,因而尚不能核对“通用”防御的覆盖范围与性能代价。激活区间的优化目标、干净参考数据需求、所处理的网络位置、检测阈值及推理开销均尚未验证;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 解码器中的后门触发器会产生可与正常任务活动区分的异常激活,该机制可能用于模型内部的后门检测与净化。可复用部分是激活统计检测和区间约束,需改造的是 EEG 干净参考分布、通道与时间结构相关的检测统计及阈值。低信噪比、跨被试分布偏移、通道变化和小样本估计可能使正常激活被误判,净化也可能损伤任务相关信号。一个可证伪的小实验是在固定 EEG 任务及相同划分下,对比无防御、仅检测与检测加净化,分别报告干净数据 Accuracy、后门攻击成功率和误报率,并在被试内与跨被试协议下分开评估。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其激活空间净化与异常检测如何兼顾多类后门防御和干净数据性能,但摘要未提供量化结果,其有效性及向 EEG 的迁移尚未验证。

来源:OpenReview · State space models · openreview.net