跳到正文
OpenReview · Representation learning· Xiao Wang; Guo-Jun Qi·· 2023-01-01精选AI 评分78

使用更强数据增强的对比学习

Contrastive Learning With Stronger Augmentations

AI 导读

基于摘要分析。本文研究图像对比学习中如何利用更强的数据增强:常见增强需谨慎保持实例身份,而更强的变换可能暴露额外模式,却难以直接通过对比学习获得有效表征。作者提出 Contrastive Learning with Stronger Augmentations(CLSA),作为现有对比学习方法的补充框架。 核心机制是利用弱增强与强增强图像在 representation bank 上的分布差异,监督强增强查询从实例池中进行检索。其重点并非仅增加增强强度,而是为强增强视图引入分布层面的监督。摘要未给出分布的具体构造、散度形式、梯度传递方式及完整训练目标,这些内容尚未验证。 作者报告,在 ImageNet 及下游数据集上的实验表明,强增强信息能够提升性能。其中,采用标准 ResNet-50、微调单层分类器时,CLSA 在 ImageNet 上达到 76.2% 的 top-1 Accuracy;摘要列出的监督学习结果为 76.5%。该比较仅限摘要描述的评估背景,训练预算、数据划分、监督对照设置及统计信息尚未验证,不能据此认定两者在完整协议下等效。 平台推测(待验证):其可迁移假设是,若 EEG 的弱增强能保留任务信息,可借用弱、强视图的实例关系分布监督,缓解强增强下直接实例匹配的不稳定性。可复用部分是分布监督思路;需改造的是 EEG 增强方式及 representation bank 的构建。低信噪比、被试差异、通道变化与小数据可能使关系分布不可靠,过强增强也可能破坏任务相关成分。一个可证伪的小实验是在固定 EEG 数据划分、编码器和训练预算下,对比弱增强对比学习、直接加入强增强、加入 CLSA 式分布监督三种设置,检查收益是否稳定并随增强强度变化。已有 EEG 相关工作尚未检索确认,此处不构成已验证的 BCI 效果。

阅读价值

CLSA 通过弱、强增强视图在 representation bank 上的分布差异提供监督,为理解强增强为何难以直接用于对比学习及如何利用其信息提供了具体方法线索,但其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net