跳到正文
OpenReview · Representation learning· Taihong Xiao; Sifei Liu; Shalini De Mello; Zhiding Yu; Jan Kautz; Ming-Hsuan Yang·· 2022-05-01精选AI 评分76

学习用于语义对应的对比表征

Learning Contrastive Representation for Semantic Correspondence

AI 导读

基于摘要分析。本文研究语义相关图像之间的稠密对应,针对同类对象在外观、尺度与姿态上的显著变化,以及像素级对应标注难以扩展的问题,提出不依赖 ImageNet 预训练模型的多层级对比学习方法。其主要研究对象是视觉语义匹配,而非 EEG 或 BCI。 机制上,作者将图像级对比学习用于促进卷积特征建立相似对象之间的对应关系,并在中间特征层加入跨实例循环一致性正则。作者认为前者是学习对应关系的关键组成部分,后者可进一步改善性能。相较于摘要所述依赖全监督 ImageNet 预训练网络、侧重匹配模块设计的既有路线,本文强调表征学习本身的作用;不依赖 ImageNet 预训练并不意味着完全不使用监督,具体正负样本构造、损失形式与训练标注需求尚未验证。 作者报告,在 PF-PASCAL、PF-WILLOW 和 SPair-71k 基准上的表现可与当时先进方法竞争。摘要未提供具体指标、数值、划分或对照配置,因此不能量化优势;实验协议、消融及统计信息尚未验证,代码与复现条件也需核对全文。 平台推测(待验证):若将 EEG 表示为具有明确空间结构的头皮拓扑图,多层级对比与循环一致性可能为跨被试表征对齐提供研究假设;但视觉对象的像素对应不等同于电极位置或脑源对应。可复用的是对比约束与一致性思想,需改造的是 EEG 编码器、正样本定义及通道对齐方式。低信噪比、容积传导、通道配置变化和小样本均可能使一致性约束强化伪对应。一个小规模检验是在固定 Cross-subject 划分下,比较仅对比学习与加入循环一致性的相同编码器,并检查对通道扰动的敏感性。此处不构成已验证的 BCI 效果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对其图像级对比学习与中间特征跨实例循环一致性如何共同支持像素级语义对应,但摘要不足以确认各组件贡献及其向 EEG 表征学习迁移的有效性。

来源:OpenReview · Representation learning · openreview.net