面向对抗鲁棒表征学习的谱正则化
Spectral regularization for adversarially-robust representation learning
基于摘要分析。本文研究神经网络表征的结构如何影响下游分类的对抗鲁棒性,提出一种作用至特征空间的谱正则化方法,旨在提升下游分类器面对黑盒对抗攻击时的鲁棒性。核心动机是:自监督学习(SSL)等场景在推理时会丢弃特征表征之后的训练用层,因此端到端正则化全部网络层未必与实际使用的表征相匹配。 方法的关键是调整正则化的作用范围,而非笼统约束所有层。摘要未给出谱正则项的数学形式、约束对象、训练目标组合及计算开销,尚不能判断其具体如何改变表征的谱结构。 作者报告,在监督分类设置下,该方法相较于此前正则化所有网络层的方法,更能提升测试 Accuracy 与对抗鲁棒性;作者还报告,对使用自监督训练所得表征或从另一分类任务迁移所得表征的分类器,该方法也能改善对抗鲁棒性。摘要未提供数据集、数值结果、攻击算法、扰动预算及黑盒攻击者可获取的信息,实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征预训练同样使用推理时被丢弃的训练用层,仅约束保留的编码器可能是可检验的设计假设。可复用的是正则化作用范围的思路;谱正则项的适配仍需结合全文核对,攻击与扰动约束则需适配 EEG 的通道、时序及生理合理性。低信噪比、小数据和跨被试差异可能使受约束的方向包含有效判别信息,且对抗鲁棒性不等于对自然噪声或分布偏移的鲁棒性。取得实现细节后,可在固定被试划分、相同编码器及训练预算下,对照无正则化、全网络正则化与特征空间正则化,同时评估干净数据 Accuracy 和固定攻击协议下的鲁棒 Accuracy。已有 EEG 相关工作尚未检索确认。
值得核对其仅正则化至特征空间的设计能否在下游分类中保留鲁棒性收益,尤其是与全网络正则化在监督、自监督及任务迁移设置下的对照;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net