通过非对称负对比与反向注意力实现鲁棒表征学习
Robust Representation Learning via Asymmetric Negative Contrast and Reverse Attention
基于摘要分析。本文研究深度神经网络在对抗噪声下的表征鲁棒性,提出结合非对称负对比与反向注意力的通用对抗训练(AT)框架,旨在同时增强不同类别特征的分离,以及自然样本与对应对抗样本特征的对齐。 作者将鲁棒表征概括为两项准则:排斥性,即样本特征远离其他类别特征;对齐性,即自然样本与对应对抗样本的特征保持接近。具体而言,非对称负对比以预测概率为依据,在特征空间推远不同类别的样本;反向注意力利用线性分类器参数对特征加权,形成类别感知特征,并拉近同类特征。摘要未给出非对称性的具体定义、损失公式、对抗样本生成方式或训练配置,其实现细节尚未验证。 作者报告,在三个基准数据集上的评估提升了 AT 的对抗鲁棒性,并达到其所称的最先进性能;摘要未列出数据集名称、攻击及威胁模型、指标、数值与对照基线,因此无法核对优势幅度和适用范围。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能用于检验 EEG 分类器在受约束扰动下的表征稳定性,但原领域有效不等于 BCI 有效,已有 EEG 相关工作尚未检索确认。迁移依赖类别监督、自然—对抗样本配对及线性分类头;可复用特征分离与对齐思路,但需按 EEG 的通道、频谱和幅值约束改造扰动生成。低信噪比和小数据可能使预测概率不可靠,过强类间排斥也可能损伤共享特征,跨被试变化则未必等同于对抗扰动。可在固定 Cross-subject 划分下,以相同骨干、训练预算和扰动约束,对比标准 AT、分别加入两个模块及完整框架,同时评估干净样本与受攻击样本的分类表现,以检验收益是否稳定。
值得核对其如何通过异类特征排斥与自然—对抗样本对齐增强对抗训练,但摘要中的鲁棒性优势及其对 EEG 的适用性尚需实验验证。
来源:OpenReview · Representation learning · openreview.net