基于数据表征分布特征的文本对抗样本检测
Detecting textual adversarial examples based on distributional characteristics of data representations
基于摘要分析。本文研究自然语言任务中的文本对抗样本检测,提出两种基于学习表征分布特征的反应式防御方法:将图像领域的 Local Intrinsic Dimensionality(LID,局部内在维度)适配到文本检测,并提出 MultiDistance Representation Ensemble Method(MDRE)。其主要研究对象是文本分类器受到对抗扰动后的输入识别,而非 EEG 或 BCI。 与通过对抗训练增强分类器的主动防御不同,这项工作着重检测对抗样本。摘要将两种方法的依据限定为学习表征的分布特征,但未说明表征提取位置、邻域构造、距离定义、集成方式及检测器训练所需监督。作者报告,在 IMDB 的字符级、词级和短语级攻击,以及 MultiNLI 的词级和短语级攻击下,适配后的 LID 与 MDRE 达到当时最先进的检测结果;具体指标、数值、数据划分、攻击算法及对照基线尚未验证,不能据此比较不同攻击设置的效果。摘要称公开代码,但所给材料未提供可核对的代码地址;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若对抗扰动会改变 EEG 解码器表征的局部几何或距离分布,这类分布检测机制可能用于识别异常输入。可复用的是表征分布检测思路,需要改造的是适合连续多通道信号的距离、参考邻域与扰动定义;同时需核对原方法是否依赖带标签的对抗样本及参考样本规模。低信噪比、被试差异、通道变化和小数据均可能使正常信号偏移被误判为攻击。一个可证伪的小实验是固定 EEG 解码器与数据划分,用训练集建立表征参考分布,在独立测试集分别评估正常数据、预先定义的对抗扰动和非对抗噪声,检查检测能力及正常数据误报率。已有 EEG 相关工作尚未检索确认。
值得核对的是仅依赖学习表征分布特征的两种文本对抗样本检测方法及其跨扰动粒度表现,但其对 EEG 表征异常检测的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net