跳到正文
OpenReview · State space models· Biao Yi; Sishuo Chen; Yiming Li; Tong Li; Baolei Zhang; Zheli Liu·· 2024-01-01精选AI 评分74

BadActs:激活空间中的通用后门防御

BadActs: A Universal Backdoor Defense in the Activation Space

AI 导读

基于摘要分析。BadActs 研究深度神经网络的后门防御,主要针对现有词空间样本净化难以处理特征空间触发器、且可能损害干净数据性能的问题。其核心贡献是在激活空间净化后门样本,并结合异常激活检测,在去除触发器与保留干净内容之间寻求平衡;摘要呈现的主要应用语境是包含句法和风格攻击的语言任务,而非 EEG 或 BCI。 机制上,方法将异常激活拉向经优化的、由干净激活分布确定的最小区间。作者认为,激活空间同时承载词语等表层信息与句法等高层语义,因此可覆盖不同类型的触发器;其细粒度、连续表示也有利于更精确地保留干净内容。此外,方法利用异常激活的统计信息构建检测模块,以改善干净样本 Accuracy 与防御性能之间的权衡。区间的具体定义、优化目标、检测阈值及模块部署位置尚未验证。 作者报告,在多种数据集及多类攻击(包括句法和风格攻击)下,该方法达到领先性能,但摘要未提供数据集名称、具体数值、攻击成功率、基线或划分协议,因而无法量化收益或确认适用边界。复现需核对干净参考数据的来源与规模、攻击者能力假设、净化及检测流程、干净性能损失、计算开销,以及实验协议、消融及统计信息。 平台推测(待验证):若 EEG 解码模型中的后门触发器也产生可与正常神经信号变化区分的异常激活,激活检测与区间约束可能作为模型安全模块复用;但需重新估计 EEG 的参考激活分布,并适配被试、会话及通道变化。低信噪比与小数据可能使正常差异被误判为后门,或使触发器落入正常区间。可在固定划分的单一 EEG 分类任务中,对同一受攻击模型比较不防御与 BadActs 式净化,联合测量攻击成功率、干净 Accuracy 和误报率,再检验跨被试变化是否破坏该权衡。原领域结果不代表 BCI 有效性,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其激活空间净化与异常检测如何兼顾后门防御和干净数据性能,尤其是对句法、风格等非表层触发器的效果;摘要中的领先性能主张仍需全文实验支持。

来源:OpenReview · State space models · openreview.net