跳到正文
OpenReview · Representation learning· Hehe Fan; Ping Liu; Mingliang Xu; Yi Yang·· 2022-09-01精选AI 评分75

通过双层渐进相似实例选择进行无监督视觉表征学习

Unsupervised Visual Representation Learning via Dual-Level Progressive Similar Instance Selection

AI 导读

基于摘要分析。该研究针对视觉表征学习依赖大规模标注数据的问题,提出 dual-level progressive similar instance selection(DPSIS),在无监督实例判别基础上逐步选择相似邻居,将实例级区分推进到具有语义意义的分组。 核心机制是先将每个图像实例视为独立类别,利用 CNN 的实例级分类学习形成表征空间,再为每个锚点自适应选择两层邻居:“绝对相似层”提供硬标签,“相对相似层”提供软标签。训练初期仅选择少量易识别邻居;随着表征改善,逐步纳入更多邻居。作者认为,这一过程能增加可靠训练样本,并进一步促进表征学习。摘要未给出相似度计算、邻居阈值、软标签构造及具体损失形式。 作者报告,DPSIS 在七个视觉基准上表现有效,覆盖三个小规模和两个大规模粗粒度图像分类数据集,以及两个细粒度分类数据集。摘要未提供数据集名称、具体指标、数值或对照结果,因此无法判断相对收益与适用边界。作者说明已公开代码;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,以置信程度区分邻居监督强度,并随训练逐步扩充邻居,可能有助于无标签 EEG 片段的表征学习;这并非原论文已验证的结果,已有 EEG 相关工作尚未检索确认。迁移依赖实例间相似度能够反映任务语义,而非被试身份、会话差异或伪迹。可复用邻居选择与渐进扩充思路,但需改造 EEG 编码器、片段定义及相似度估计;低信噪比、通道差异和小样本可能使错误邻居被持续强化。一个可证伪的小实验是在固定跨被试划分与相同编码器下,对比实例判别、固定邻居选择和 DPSIS 式渐进选择,以独立测试被试上的同一任务指标及训练邻居的语义一致性检验该假设,测试标签不参与邻居选择。

阅读价值

值得关注的是 DPSIS 用双层邻居选择和渐进扩充机制连接实例判别与语义分组,但其对 EEG 表征学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net