跳到正文
OpenReview · Representation learning· Mohammad Alkhalefi; Georgios Leontidis; Mingjun Zhong·· 2024-04-24精选AI 评分74

用于增强实例判别方法视觉表征学习的语义正样本对

Semantic Positive Pairs for Enhancing Visual Representation Learning of Instance Discrimination Methods

AI 导读

基于摘要分析。本文研究视觉自监督实例判别中正样本主要依赖同一图像增强视图、语义相似实例可能被不当分离的问题,提出识别语义内容相似的图像并将其作为正样本,以丰富表征并降低重要语义特征被舍弃的风险。 机制上,该方法将正样本关系从“同一实例的不同视图”扩展到“不同实例间的语义相似关系”。作者称该方案可用于 MoCo、SimSiam 等自监督实例判别框架。摘要未交代语义相似性的计算方式、正样本筛选与更新策略、是否依赖额外监督,以及具体损失和训练流程;这些是判断其可复用性与计算成本的关键待核对事项。 作者报告,在 ImageNet、STL-10 和 CIFAR-10 上结合不同实例判别方法进行实验,均优于相应基线。其中,在 ImageNet、800 epochs、线性评估协议下,相比原始 MoCo-v2 提升 4.1%;摘要未明确该数值对应的具体指标,也未明确其为相对百分比还是百分点,不能据此换算准确率。作者还报告了半监督学习、下游迁移学习与目标检测结果,但摘要未给出具体数值。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 自监督学习中语义相近片段被当作负样本的问题,可考虑复用正样本关系扩展思路,但需将图像语义相似度改造为适合 EEG 时序及通道结构的相似度。其有效性依赖于能否在无任务标签条件下可靠识别相关片段;低信噪比、被试差异、通道差异和小数据条件可能使筛选偏向伪迹或个体特征。一个可证伪的小实验是在固定跨被试划分、骨干与训练预算下,对比仅用增强视图、随机扩展正样本及相似度筛选正样本三种设置,并仅用训练划分构建正样本关系,检验下游收益是否稳定。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其语义正样本识别机制及与 MoCo、SimSiam 的结合方式,以评估扩大正样本集合能否缓解实例判别对语义相似样本的过度区分;其 EEG 迁移价值尚未验证。

来源:OpenReview · Representation learning · openreview.net