跳到正文
OpenReview · Representation learning· Nong Minh Hieu; Antoine Ledent·· 2026-05-01精选AI 评分80

极端多类别监督对比表征学习的精细化泛化分析

A Refined Generalization Analysis for Extreme Multi-class Supervised Contrastive Representation Learning

AI 导读

基于摘要分析。本文研究极端多类别监督对比表征学习的泛化与样本复杂度,重点处理从有限标注数据池构造对比元组时产生的元组间依赖。主要贡献是改进既有风险界,并提出利用跨类别风险集中性质的另一种估计量,以获得更适合长尾类别分布的理论界。 既有分析通常假设输入元组独立同分布,但有限数据池中的样本复用会破坏这一假设。摘要指出,一项已有工作使用 U-Statistics 估计总体风险,但其分析要求各类别风险一致集中,使超额风险界具有 ρ_min^(-1/2) 阶依赖,其中 ρ_min 为最稀有类别的概率。这可能过度放大对总体风险贡献较小的尾部类别的影响。 作者报告,第一项改进使样本复杂度与类别数 R 同阶,且不依赖类别分布;第二项估计量改为刻画跨类别风险的集中,在类别分布满足文中所称温和假设时,得到 O(k) 的样本复杂度,其中 k 为每个元组所含样本数。这些是理论界,而非分类 Accuracy 或实际训练样本节省比例。具体分布假设、其他复杂度项、估计量形式及证明细节尚未验证,实验协议、消融及统计信息亦尚未验证。 平台推测(待验证):若 EEG 监督对比学习同样从有限标注池反复构造元组,该分析可能有助于理解元组依赖与类别不平衡,但极端多类别设定与具体 EEG 任务是否匹配仍需核对。可借鉴的是风险估计与理论分析思路,而非已验证的 EEG 算法;跨被试差异、低信噪比以及试次间相关性可能引入额外条件。尚未检索确认已有 EEG 相关工作。

阅读价值

值得核对其如何以跨类别风险集中替代逐类一致集中,从而减轻长尾类别对监督对比学习样本复杂度界的影响,但界成立的具体假设与 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net