扩散模型通过压缩图像空间提升对抗鲁棒性
Diffusion Models Improve Adversarial Robustness by Compressing Image Space
基于摘要分析。本文研究图像领域中扩散模型为何能提升经验性对抗鲁棒性,提出以图像空间压缩而非单纯靠近干净样本来解释扩散净化的作用,并以预期压缩率(CR)刻画压缩与鲁棒性增益之间的关系。 作者报告,扩散净化后的图像与干净样本之间的 ℓ_p 距离反而增大,挑战了“净化通过缩短该距离实现去噪”的解释。作者还报告,净化结果明显受扩散模型内部随机性影响;固定随机性后,扩散模型会显著压缩图像空间,且预期 CR 与对抗鲁棒性增益存在规律性关系。摘要未提供具体数据集、攻击设置、鲁棒性指标及增益数值,因而尚不能判断该关系在不同评估协议下的稳定程度。 理论方面,作者将压缩效应归因于扩散模型编码的收敛型 score 场,并在低维数据流形假设下说明预期 CR 能刻画偏离流形方向的压缩。其机制贡献在于将随机性、空间压缩与鲁棒性联系起来,而不是仅以像素距离解释净化效果。CR 的具体定义与估计方法、理论成立条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 的任务相关结构可由低维流形近似,偏离流形方向的压缩可能用于研究扰动抑制,但图像领域的结论并不等于 BCI 有效性。可复用的是固定随机性后测量输入扰动压缩与鲁棒性关系的分析框架;需改造的是面向多通道时序的扩散模型、距离度量和任务保持约束。低信噪比、跨被试差异、通道变化及小数据训练可能使模型将有效神经信号也一并压缩。一个可检验的小实验是在固定被试内划分的 EEG 分类任务中,比较固定与变化随机性下的压缩程度、干净样本 Accuracy 和受扰动样本 Accuracy,检验压缩是否与鲁棒性一致变化且不损害任务信息。相关 EEG 工作尚未检索确认。
值得阅读其以预期压缩率(CR)解释扩散净化对抗鲁棒性增益的机制分析,尤其是对“净化使输入更接近干净样本”这一直觉的检验;其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net