跳到正文
OpenReview · Representation learning· Xiang An; Kaicheng Yang; Xiangzi Dai; Ziyong Feng; Jiankang Deng·· 2024-01-01精选AI 评分75

用于视觉表征学习的多标签聚类判别

Multi-label Cluster Discrimination for Visual Representation Learning

AI 导读

基于摘要分析。该研究针对视觉表征学习中实例判别难以编码训练数据语义结构、单标签聚类忽略图像多对象或多属性信息的问题,提出 Multi-Label Cluster Discrimination(MLCD),通过多个聚类伪标签与多标签分类损失增强表征学习。 方法包括聚类与判别两个步骤:先利用现成嵌入特征,将 LAION-400M 数据集聚为一百万个中心,再为每张图像选择多个最近中心作为辅助类别标签;随后采用分别处理正类别与负类别损失的多标签分类目标。作者认为,这种设计可缓解决策边界上的歧义。摘要未给出损失公式、近邻中心数量、特征提取器及聚类更新方式,相关实现尚未验证。 作者报告,在不同模型规模和预训练数据规模的实验中,MLCD 在 linear probe、zero-shot classification 和 image-text retrieval 等下游任务上达到当时最优表现。摘要未提供具体评估数据集、划分、对照基线与指标数值,因此尚不能判断各任务的增益幅度及来源;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,以多个近邻聚类标签替代单一硬伪标签,或能缓解 EEG 表征中混合状态被强行归为一类的问题,但原论文研究的是大规模视觉数据,并未提供 EEG/BCI 有效性证据。可复用的是多中心伪标签分配与多标签判别思路,需改造 EEG 编码器、聚类距离及标签选择策略。低信噪比、被试与通道差异可能使聚类主要反映伪迹或个体身份,小数据也可能导致聚类不稳定。一个可证伪的小实验是:固定 EEG 编码器、数据划分和训练预算,仅使用训练集生成聚类标签,对比单标签与多标签监督在同一跨被试任务上的表现,并检查聚类与被试身份的关联。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是 MLCD 将单一聚类伪标签扩展为多标签监督,并分别处理正负类别损失;其收益是否来自多标签机制而非预训练特征与数据规模,仍需结合全文对照和消融核验。

来源:OpenReview · Representation learning · openreview.net