用于去偏表征学习的梯度外推
Gradient Extrapolation for Debiased Representation Learning
基于摘要分析。本文研究分类模型经经验风险最小化(ERM)训练后依赖虚假相关、从而在测试关联改变时泛化受损的问题,提出 Gradient Extrapolation for Debiased Representation Learning(GERNE),从优化过程入手学习去偏表征,覆盖训练时属性已知与未知两种情形。原论文的主要研究对象是视觉与 NLP 分类,而非 EEG 或 BCI。 GERNE 使用虚假相关程度不同的两个批次,将各自损失产生的梯度进行线性外推,构造目标更新梯度。作者的分析指出,当外推梯度朝向虚假相关较少批次的梯度方向时,可引导模型学习去偏表征。作者将其表述为包含 ERM 与 Resampling 特例的一般框架,并推导外推系数的理论上下界;调节该系数可分别面向 Group-Balanced Accuracy(GBA)或 Worst-Group Accuracy(WGA)优化。摘要未给出具体外推公式、批次构造规则,以及属性未知时识别相关强弱的方法。 作者报告在五个视觉基准和一个 NLP 基准上验证了 GERNE,相较先进基线取得有竞争力且经常更优的表现。摘要未提供基准名称、划分、具体分数及比较条件,因此不能量化优势或判断稳定性;实验协议、消融及统计信息尚未验证。材料提供了项目页,但代码与复现配置的可用性尚未验证。 平台推测(待验证):若 EEG 分类中能构造任务标签相近、但被试或会话等非目标属性与标签关联强度不同的批次,梯度外推可能用于检验模型对这类关联的依赖。可复用的是优化更新思路,需改造的是属性定义、批次采样与系数选择;低信噪比、小样本及通道差异可能使批次梯度不稳定,且被试差异不一定都是应去除的信息。一个可证伪的小实验是在固定 Cross-subject 划分、骨干和训练预算下,对比 ERM、Resampling 与 GERNE,并检查外推系数变化是否稳定改善预定义分组的 GBA 或 WGA。该设想依赖可靠分组与足够的组内样本,不能视为已证实的 BCI 效果;已有 EEG 相关工作尚未检索确认。
值得核对 GERNE 如何通过不同虚假相关强度批次的梯度外推调节去偏方向,以及外推系数对 GBA 与 WGA 的权衡;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net