跳到正文
OpenReview · Representation learning·· 2026-09-07精选AI 评分80

概率对比学习中,共享温度是否意味着共享角度尺度?

Does a Shared Temperature Imply a Shared Angular Scale in Probabilistic Contrastive Learning?

AI 导读

基于摘要分析。本文研究概率对比学习中共享温度能否保证不同类别具有相同的角度相似度尺度,针对 ProCo 使用的精确 von Mises–Fisher(vMF)概率评分开展高维分析,并构造对照以分离类别角度增益与其他评分变化。 在表征维度与类别浓度共同增长的条件下,作者证明评分仍保留类别相关的主导角度增益 g_c=A_c/τ,其中 A_c 为平均合向量长度,τ 为温度。该增益参与 Softmax 类别竞争、成对决策边界及特征梯度,因此共享温度并不自动对应共享角度尺度。类别温度调整还会改变余弦为零时的截距及有限维响应;作者设计保留截距的对照和 Pure Angular 对照,以区分这些影响。作者进一步给出完全均衡角度增益后、主导阶上等价的共享尺度余弦原型规则,以及保证两种分类器一致的有限维间隔条件。 作者报告,在 CIFAR-LT、ImageNet-LT 和 iNaturalist 的真实表征上,理论能够预测完整 vMF 评分下的边界移动与局部梯度变化。在 16 种冻结表征设置中,所比较分类器的预测一致率为 98.43–99.99%,分歧主要集中于余弦间隔较小的样本;这一指标不是分类 Accuracy。作者还报告,在使用训练频率先验、仅进行对比学习的受控训练中,Pure Angular 编辑在全部受测 CIFAR-10/100 不平衡因子下均改善了所考察的两种学习表征,并在 ImageNet-LT 上保持正向变化;摘要未给出具体提升幅度和完整评估定义。 复现时需核对维度与浓度的增长条件、类别浓度估计、有限维误差与间隔条件,以及 Pure Angular 的实现和训练对照。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 类别表征采用 vMF 概率原型,类别浓度差异可能同时影响分布描述与分类尺度,可复用角度增益分解及保留截距的对照,但需适配浓度估计和被试划分。低信噪比、跨被试差异及小样本可能使浓度估计不稳,高维渐近结论也未必适用。可在固定 EEG 表征和同一数据划分下比较原始评分与 Pure Angular 对照,检验边界变化是否符合预测;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于将 ProCo 中类别浓度引入的角度增益与温度调整伴随的截距变化分离,为检验概率对比学习的决策边界与梯度机制提供理论及受控对照;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net