跳到正文
OpenReview · Representation learning· Xiang An; Kaicheng Yang; Jing Yang; Ziyong Feng; Jia Guo; Tongliang Liu; Jiankang Deng·· 2023-09-21精选AI 评分77

用于视觉表征学习的多标签聚类判别

Multi-label Cluster Discrimination for Visual Representation Learning

AI 导读

基于摘要分析。本文针对 CLIP 实例判别难以充分编码训练数据语义结构、单标签聚类判别难以覆盖图像多目标语义的问题,提出多标签聚类判别方法,以多个聚类中心作为伪标签增强视觉表征学习。主要研究对象是大规模图像及图文表征,而非 EEG 或 BCI。 机制上,作者使用现成嵌入特征,将 LAION 400M 数据聚为一百万个中心,并为每张图像选取多个最近中心作为类别标签,以表达自然图像中可能同时存在的多个视觉目标。在判别阶段,设计将正类与负类损失分离的高效多标签分类损失,以支持大规模数据上的分布式训练。摘要未提供特征提取器、近邻数量、损失公式或聚类更新安排,这些实现条件尚未验证。 作者报告,在不同模型规模和预训练数据规模的实验中,该方法在 linear probe、zero-shot classification 和 image-text retrieval 等下游任务上取得领先表现。摘要未给出具体分数、下游数据集、划分及对照配置,因此目前无法量化相对 CLIP 或单标签聚类判别的收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 表征中的近邻结构能反映多个可共存的潜在因素,多中心伪标签可能比单一聚类标签保留更多信息。可复用的是多邻近中心标签构造与多标签判别思路;需重新设计 EEG 编码器、聚类距离、跨被试采样和训练规模。其原始动机依赖自然图像多目标语义及大规模嵌入数据,不能直接假定适用于 EEG:低信噪比、被试差异与通道配置可能使聚类优先捕获伪迹或身份,小数据也可能造成中心不稳定。一个可证伪的小实验是在固定 EEG 编码器与训练数据、严格隔离测试被试的条件下,对比单中心与多中心伪标签的跨被试下游表现,并检查聚类是否主要反映被试身份。上述仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其多邻近聚类中心伪标签与正负类损失分离机制,尤其是相对单标签聚类判别的增益及大规模训练条件;摘要中的领先性能主张仍需结合完整协议验证。

来源:OpenReview · Representation learning · openreview.net