跳到正文
OpenReview · Representation learning· Ruijie Jiang; Thuan Nguyen; Shuchin Aeron; Prakash Ishwar·· 2025-05-16精选AI 评分82

对比学习中的困难负样本采样:最优表示几何与神经坍塌和维度坍塌的比较

Hard-Negative Sampling for Contrastive Learning: Optimal Representation Geometry and Neural- vs Dimensional-Collapse

AI 导读

基于摘要分析。本文研究困难负样本采样如何影响对比学习的最优表示几何,以及实际优化能否达到该几何结构,结合理论证明与 Adam 优化实验区分神经坍塌(Neural-Collapse,NC)和维度坍塌(Dimensional-Collapse,DC)。研究对象是通用对比表征学习,并非 EEG 或 BCI。 理论方面,作者在一种广泛研究的数据模型及一般损失、样本困难度调节函数条件下,证明 Supervised Contrastive Learning(SCL)、Hard-SCL(HSCL)和 Unsupervised Contrastive Learning(UCL)的损失可由具有 NC 几何的表示达到最小值:类别均值构成等角紧框架(ETF),同类样本映射到相同表示。作者还证明,对任意表示映射,HSCL 与 Hard-UCL(HUCL)损失分别以下对应的 SCL 与 UCL 损失为界。这里应区分 NC 的类别结构与 DC 的表示维度退化,不能将两者视为同一失败现象。 作者指出,其 SCL 理论不要求增强视图在给定类别后条件独立,适用的损失类别包含 InfoNCE,且相关理论结论也适用于采用批处理优化的情形。摘要对最优几何的证明列举了 SCL、HSCL 和 UCL,不宜据此将同一结论直接扩展至 HUCL。 实证方面,作者报告:在随机初始化、适当困难度水平及单位球或单位球面特征归一化条件下,采用批处理的 Adam 优化 HSCL、HUCL 可收敛至 NC 几何;不引入困难负样本或特征归一化时,所学表示出现 DC,未达到 NC 几何。具体数据集、困难度设置、几何评价指标、实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与复现条件尚未核对。 平台推测(待验证):困难负样本与归一化的配合可能用于检验 EEG 对比表征的维度退化,但其理论依赖的数据模型及类别结构须重新核对。可复用采样和归一化机制,需改造 EEG 增强与负样本定义;低信噪比、跨被试差异、通道差异及小样本可能使困难负样本集中于伪迹或假负例。一个可证伪的小实验是在固定跨被试划分、编码器和训练预算下,对照困难采样与归一化的组合,同时测量表示有效秩、类别几何及下游 Balanced Accuracy。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其损失最优几何的理论条件,以及困难负样本、特征归一化与 Adam 优化共同影响表示坍塌的实证证据;这些结论能否延伸到 EEG 表征尚未验证。

来源:OpenReview · Representation learning · openreview.net