用于视觉表征学习的多标签聚类判别
Multi-label Cluster Discrimination for Visual Representation Learning
基于摘要分析。本文研究视觉表征学习中实例判别难以编码训练数据语义结构、单标签聚类判别难以覆盖图像多对象与多属性的问题,提出 Multi-Label Cluster Discrimination(MLCD),通过多个近邻聚类中心构造辅助类别标签,并设计多标签分类损失学习表征。 方法上,作者使用现成嵌入特征,将 LAION-400M 聚类为一百万个中心,再为图像选取多个最近中心作为辅助类别标签。判别阶段的损失将正类与负类损失分开处理,作者认为这有助于缓解决策边界的歧义。摘要没有给出中心选择数量、损失具体形式或聚类更新方式,相关实现尚需核对全文。 作者报告,在不同模型规模与预训练数据规模的实验中,MLCD 在 linear probe、zero-shot classification 和 image-text retrieval 等下游任务上达到最先进水平。但摘要未提供具体模型、评估数据集、划分、基线与指标数值,因此目前无法核对提升幅度及比较条件;实验协议、消融及统计信息尚未验证。作者声明已公开代码和模型,但此处未核验其复现配置。 平台推测(待验证):迁移假设是,多中心伪标签可能比单一聚类标签更适合表达 EEG 片段中并存的状态因素,而正负类损失分离可作为可复用模块。该方法原本依赖大规模视觉数据及已有嵌入形成的聚类结构,迁移时需改造 EEG 编码器、片段表示及中心选择策略。低信噪比、被试差异与通道差异可能使聚类主要捕获个体或采集条件,小数据则可能导致中心不稳定。一个可证伪的小实验是:固定 EEG 编码器、训练数据和聚类中心数,仅用训练集构建中心,对比单标签与多标签聚类目标在同一跨被试划分下的下游表现,并检查聚类是否主要区分被试身份。已有 EEG 相关工作尚未检索确认。
值得核对 MLCD 的多中心伪标签与正负类损失分离机制能否缓解单标签聚类的语义歧义;其对 EEG 表征学习的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net