不使用任何对抗样本的鲁棒少样本学习
Robust Few-Shot Learning Without Using Any Adversarial Samples
基于摘要分析。本文研究图像少样本分类中的对抗鲁棒性,提出不依赖对抗样本训练的方法,以避免逐训练 episode 生成对抗样本带来的计算开销;其主要研究对象并非 EEG 或 BCI。 核心机制是在预训练阶段,通过自蒸馏约束基类原始数据与对应低频样本的高层特征匹配;随后在新类样本上微调,并利用余弦相似度增强低频 query set 特征的可判别性。该流程依赖基类与新类的少样本任务结构,以及可构造的低频输入;摘要未披露低频变换、损失形式或 query set 的具体使用方式。 作者报告,在 CIFAR-FS 的 one-shot 设置下,相对基线,PGD 和 AutoAttack 下的对抗 Accuracy 分别提升 60.55% 和 62.05%,同时干净数据 Accuracy 小幅下降。摘要未明确这些百分比表示相对增幅还是百分点差值,也未给出基线名称及绝对 Accuracy,不能自行换算。作者还报告,训练耗时为标准训练的 1.69 倍,相较其比较的先进对抗元学习方法约快 5 倍;具体硬件与计时范围尚未验证。摘要提供了代码地址,但实现与可复现性尚未核验。攻击范数、扰动预算、数据划分、消融及统计信息均尚未验证。 平台推测(待验证):可迁移的假设是,通过原始信号与频率受限信号的特征一致性约束,缓解小样本 EEG 分类对扰动的敏感性。可复用自蒸馏框架,但需按任务频段重新设计变换,不能直接沿用图像低频假设;滤波可能删除判别信息,低信噪比、跨被试频谱差异及通道变化也可能使一致性约束失效。一个可证伪的小实验是在固定被试内少样本划分、相同骨干和训练预算下,对比普通微调与加入频率一致性约束的方法,同时报告干净 Accuracy 和明确扰动预算下的对抗 Accuracy。已有 EEG 相关工作尚未检索确认。
该研究以低频特征自蒸馏替代训练中的对抗样本生成,值得核对其鲁棒性与计算成本之间的权衡,但摘要中的提升幅度口径及攻击评估协议尚待全文确认。
来源:OpenReview · Representation learning · openreview.net