捷径不变性:解耦潜在空间中的定向 Jacobian 正则化
Shortcut Invariance: Targeted Jacobian Regularization in Disentangled Latent Space
基于摘要分析。本文研究深度神经网络利用训练数据中的虚假相关性形成捷径、进而损害分布外(OOD)泛化的问题,提出在解耦潜在空间中注入定向各向异性噪声,以降低分类器对候选捷径方向的敏感性。主要研究对象是通用捷径学习,摘要以跨机构采集协议不同的医学影像说明问题背景,并未报告 EEG 或 BCI 实验。 方法将捷径学习解释为模型过度依赖与捷径对齐的潜在轴,通过潜在轴与标签的强相关性识别候选方向,再在训练时沿这些方向施加噪声。与删除、投影移除或对抗抑制捷径特征的方法不同,它保留完整表征,转而约束分类器的功能敏感性。作者称,各向异性噪声可诱导定向 Jacobian 与曲率正则化,使决策边界沿捷径轴趋于平坦,同时使核心特征维度基本不受影响。具体推导条件、噪声分布及强度、解耦表征的获得方式尚未验证。 作者报告,该方法无需捷径标签或训练集中的捷径冲突样本,在标准捷径学习基准上取得最先进的 OOD 表现;摘要未提供基准名称、划分、对照方法或指标数值,因此无法核对该结论的适用范围。需要重点核对强标签相关性如何区分真实任务特征与捷径,以及潜在轴不充分解耦时的行为。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征能将任务信息与设备、会话等采集因素分离,定向噪声或可用于缓解采集因素与标签偶然相关造成的泛化问题。可复用的是潜在轴筛选与噪声正则化思路,需改造的是 EEG 编码器、解耦机制及候选轴验证流程;低信噪比、通道变化和小样本可能使真实任务轴被误判为捷径轴。一个可检验的小实验是在同一 EEG 任务中人为设置采集因素与标签的训练相关性,在独立会话中解除该相关性,固定编码器和划分,对比无噪声、各向同性噪声与定向噪声的 Balanced Accuracy,并检查被试内性能是否受损。此为迁移假设,不是原论文结果;已有 EEG 相关工作尚未检索确认。
值得核对其定向噪声与 Jacobian、曲率正则化之间的理论联系,以及在不依赖捷径标签或捷径冲突样本时识别捷径轴的有效条件;其 EEG 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net