面向对抗鲁棒表征学习的谱正则化
Spectral regularization for adversarially-robust representation learning
基于摘要分析。本文研究如何通过训练阶段的正则化改善神经网络表征的对抗鲁棒性,提出一种作用范围截至特征空间的谱正则化方法,目标是提升下游分类任务面对黑盒对抗攻击时的鲁棒性。 核心动机是:常见方法对整个网络进行端到端正则化,但在自监督学习(SSL)等表征学习场景中,特征表征之后的网络层在下游推理时会被丢弃,因此作者认为,将正则化范围限定至特征空间更适合这类任务。摘要未给出谱正则项的数学形式、所约束的具体谱对象及其计算方式,不能据此判断其与已有谱约束方法的具体差异。 作者报告,在监督分类实验中,该方法相较于对所有网络层施加正则化的既有方法,更能改善测试 Accuracy 与对抗鲁棒性;作者还报告,使用自监督训练所得表征或从另一分类任务迁移的表征时,下游分类器的对抗鲁棒性也有所改善。摘要未提供数据集、攻击算法与预算、对照方法名称或结果数值,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,对部署时保留的 EEG 特征提取器施加适当谱约束,可能比连同被丢弃的训练头一起正则化更有利于下游鲁棒性。可复用的是正则化范围与表征复用的设计原则,谱项实现及攻击约束需结合 EEG 数据结构改造;原方法依赖的具体监督形式与训练规模尚未验证。低信噪比、小样本及跨被试、跨通道差异可能使正则化压制任务相关特征,且对抗鲁棒性不等同于自然分布偏移下的泛化。取得全文后,可在固定 EEG 数据划分、骨干与分类头的条件下,对照无正则化、全网络正则化与特征空间正则化,并分别评估干净样本 Accuracy 和明确攻击预算下的鲁棒性。已有 EEG 相关工作尚未检索确认。
值得核对其将谱正则化范围限定至特征空间的设计,以及作者报告的下游分类黑盒对抗鲁棒性收益;这些收益能否迁移至 EEG 表征尚未验证。
来源:OpenReview · Representation learning · openreview.net