LeOCLR:利用原始图像进行视觉表征对比学习
LeOCLR: Leveraging Original Images for Contrastive Learning of Visual Representations
基于摘要分析。LeOCLR 研究视觉表征对比学习中随机裁剪造成的语义错配:同一图像的两次裁剪可能包含不同语义内容,强制建立对应关系可能损害表征。该方法利用原始图像,引入新的实例判别方式及调整后的损失函数,以缓解不同物体局部之间的映射导致语义特征被舍弃的问题。 核心机制与结果:摘要未给出原始图像参与训练的具体方式、正负样本构造或损失公式。作者报告,该方法在多个数据集上相对基线改善表征学习;在 ImageNet-1K 线性评估中,相对 MoCo-v2 的提升原文记为 5.1%,但未说明这是相对百分比还是百分点,也未注明具体指标,不能进一步换算。作者还报告迁移学习任务上优于若干方法,但未列出任务、对照及数值。训练规模、增强配置、评估划分、消融及统计信息尚未验证。 平台推测(待验证):该工作的可迁移点是“增强视图未必保留相同语义”这一机制问题,而非已验证的 EEG 方法。原方法依赖原始图像及其增强视图;若 EEG 自监督学习采用时间裁剪,短窗口也可能丢失任务相关事件或节律,但原始记录能否提供可靠语义参照仍是假设。可考虑复用原始样本与增强视图之间的关联思路,需改造信号编码器、裁剪策略及损失中的对应关系;低信噪比、通道差异和跨被试变异可能使原始记录同时保留更多干扰,小数据下也可能放大过拟合。取得具体实现后,可在固定 EEG 数据划分、编码器与训练预算下,对比普通双裁剪与原始记录参与的对比学习,并改变裁剪长度,检验下游性能是否随语义保留程度稳定改善。已有 EEG 相关工作尚未检索确认。
值得核对 LeOCLR 如何利用原始图像缓解随机裁剪的语义错配,以及其相对 MoCo-v2 的收益是否依赖特定增强与训练协议;其对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net