跳到正文
OpenReview · Representation learning· Ali Javidani; Mohammad Amin Sadeghi; Babak Nadjar Araabi·· 2023-01-01精选AI 评分73

局部—全局自监督视觉表征学习

Local-Global Self-Supervised Visual Representation Learning

AI 导读

基于摘要分析。该研究面向图像自监督表征学习,在图像级实例判别之外引入 patch 级判别,以联合学习局部细节与全局视觉特征;主要贡献是结合局部独立光度增强、跨视图 patch 匹配及双层级自蒸馏。 方法先对原始图像进行空间增强,再对同一视图内各 patch 分别施加相互独立的光度增强,使不同局部区域呈现不同颜色变化。增强后的图像输入以 Vision Transformer(ViT)为骨干的自蒸馏框架,通过缩小图像级和 patch 级表征距离学习跨视图一致性。作者提出 patch-matching 算法寻找增强视图之间对应的 patch,并报告其相较类似方法降低了计算复杂度;匹配规则、损失形式与复杂度比较条件尚未验证。 作者报告在 Cifar10、ImageNet-100 和 ImageNet-1K 等不同规模数据集上进行预训练,并在图像分类、copy detection 和 image retrieval 任务中优于所比较的先进自监督方法。摘要未提供具体分数、评估划分、基线配置或计算成本,不能据此量化性能与效率优势。实验协议、消融及统计信息尚未验证。摘要称实现已在 GitHub 提供,但当前材料未给出仓库链接及复现配置。 平台推测(待验证):其可迁移机制是借助局部对应关系,在全局一致性之外约束细粒度表征,可能用于探索 EEG 自监督学习中局部时频结构的保留。但原方法依赖图像空间对应与颜色增强;用于 EEG 时,须重新定义时间、频率或通道 patch 的对应规则,并以生理语义合理的增强替代颜色扰动。低信噪比、跨被试差异、通道布局变化及小数据条件可能使局部匹配失效。可在固定数据划分与训练预算下,对比仅全局目标和加入局部匹配目标的 EEG 编码器,检验局部约束是否改善下游表现;这仅是假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其跨视图 patch 匹配与局部独立增强如何支持图像级、patch 级联合自蒸馏,以及计算开销优势的具体依据;迁移到 EEG 的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net