跳到正文
OpenReview · Representation learning· Zhigang Dai; Bolun Cai; Junying Chen·· 2022-01-01精选AI 评分75

UniMoCo:无监督、半监督与全监督视觉表征学习

UniMoCo: Unsupervised, Semi-Supervised and Fully-Supervised Visual Representation Learning

AI 导读

基于摘要分析。本文研究如何在视觉表征学习中同时利用有标签与无标签数据,提出 Unified Momentum Contrast(UniMoCo),将 MoCo 扩展到任意标注比例的训练场景。主要贡献是利用标签队列动态构建多个正样本对,并提出 Unified Contrastive(UniCon)损失,在统一的成对优化视角下处理数量可变的正、负样本。 机制上,相较于摘要所述 MoCo 的单一正样本对,UniMoCo 通过比较查询样本的标签与标签队列来维护多个正样本对。作者认为 UniCon 在理论与实践上优于 supervised contrastive loss,但摘要未给出损失公式、推导条件或具体对照数值;无标签样本如何参与配对、队列更新及混合训练也尚未验证。 作者报告,在使用不同比例 ImageNet 标签预训练后,UniMoCo 在多种下游任务上表现出对无监督、半监督与全监督设置的适用性。作者还报告,在其 COCO 和 VOC 迁移评估中,使用 60% ImageNet 标签预训练时表现最佳。该结果不能直接解释为减少标签普遍有益;具体下游任务、标签抽样方式、指标、基线、消融及统计信息尚未验证。摘要提供了代码仓库,但实现与复现条件尚未核验。 平台推测(待验证):其可迁移假设是,标签队列与多正样本优化可能帮助 EEG 表征学习利用有限标注及未标注数据。可复用部分是队列管理与 UniCon 优化思路,需改造 EEG 编码器、信号增强和正样本定义。视觉语义标签的配对逻辑不一定适合 EEG:低信噪比、跨被试差异、通道不一致和小样本可能使队列学习到被试特征,或将同标签但生理分布不同的样本过度拉近。一个小规模检验是固定 EEG 数据划分、编码器、增强与训练预算,在若干标注比例下比较 MoCo、supervised contrastive loss 与 UniMoCo,并分别报告被试内和跨被试结果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是其通过标签队列与 UniCon 损失统一不同标注比例下的对比学习,以及作者报告的部分标注优于全标注的迁移现象;该现象的实验条件与对 EEG 的适用性尚待验证。

来源:OpenReview · Representation learning · openreview.net