变分监督对比学习
Variational Supervised Contrastive Learning
基于摘要分析。本文研究监督对比学习中嵌入分布缺乏显式约束,以及对大量批内负样本和定制数据增强依赖较强的问题,提出 Variational Supervised Contrastive Learning(VarCon),以潜在类别变量上的变分推断替代穷举式成对比较,实现类别感知的表征匹配。 核心机制是最大化后验加权的证据下界(ELBO),并对嵌入空间的类内离散度提供更细粒度控制。作者将其用于缓解语义相关样本被不适当推远的问题;具体后验建模、ELBO 形式、监督标签使用方式及计算开销尚未验证。 实验仅使用图像数据,涉及 CIFAR-10、CIFAR-100、ImageNet-100 和 ImageNet-1K。作者报告,采用 ResNet-50 编码器、训练 200 epochs 时,ImageNet-1K 的 Top-1 Accuracy 为 79.36%,CIFAR-100 的 Top-1 Accuracy 为 78.29%,并称达到对比学习框架的领先表现;具体数据划分、评估协议及对照条件尚未验证。作者还报告,KNN 分类、层次聚类与迁移学习评估显示更清晰的决策边界和语义组织,少样本学习表现优于监督基线,且对不同增强策略更稳健;摘要未提供这些比较的完整指标和统计信息。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是借助类别监督及潜在类别后验约束表征分布,可能对应 EEG 中同任务样本受噪声与被试差异影响而分散的问题。可考虑复用变分目标与类内离散度控制,编码器和增强方式则需适配 EEG 时空结构;低信噪比、小数据及跨被试分布变化可能导致后验估计不稳,过强聚合也可能抹去有效类内差异。一个可证伪的小实验是在固定 EEG 运动想象数据划分、编码器、增强及训练预算下,对比 VarCon 与监督对比学习,分别考察被试内和跨被试的 Balanced Accuracy,并检查结果是否随批大小变化而稳定。已有 EEG 相关工作尚未检索确认。
VarCon 将监督对比学习改写为潜在类别变量上的变分推断,其后验加权 ELBO 与类内离散度控制值得核对,但图像实验结论尚不能视为 EEG 表征学习的有效性证据。
来源:OpenReview · Representation learning · openreview.net