跳到正文
OpenReview · Representation learning· Ali Cy; Anugrah Chemparathy; Michael Han; Rumen Dangovski; Peter Y. Lu; Charlotte Loh; Marin Soljacic·· 2023-09-24精选AI 评分78

对比学习中的相变

Phase Transitions in Contrastive Learning

AI 导读

基于摘要分析。本文研究自监督对比学习的训练动力学,核心问题是表征是否会经历局部稳定或亚稳定的阶段,以及模型如何在这些阶段之间快速切换。作者在理论线性设定、受物理启发的低维数据集,以及包含 ImageNet 的计算机视觉数据集上考察这一现象,并提出几何驱动的相变度量。 作者报告,三类设定中均存在“相”与“相变”:前者指局部稳定或亚稳定的表征,后者指模型在不同表征阶段之间快速且出乎预期的切换。作者还报告,更稳健的数据增强可以加快相变。摘要未给出几何指标的定义、增强方式、损失函数、比较基线或定量结果,因此不能据此判断加快相变是否同时改善最终任务性能。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 对比学习也存在类似的表征阶段切换,这类几何度量可能用于分析训练停滞及增强策略的作用。可复用的思路是跟踪训练中的表征几何变化;需改造的是适配 EEG 时序与通道结构的度量和增强方式。其成立依赖于可比较的表征轨迹,以及能保留任务相关信息的增强。低信噪比、跨被试差异、通道变化和小数据可能使观测到的突变来自噪声或采样波动,而非稳定的相变机制。一个可检验的小实验是在固定 EEG 数据划分和对比学习目标下比较不同增强强度,检验几何突变能否跨随机种子复现,并分别考察其与下游表现的关系;已有 EEG 相关工作尚未检索确认。 摘要仅承诺代码和可视化将在发表时公开,不能据此确认当前已开放或论文已正式发表。复现仍需取得全文及实现,核对相变判据、训练配置和增强细节。

阅读价值

值得关注其用几何指标刻画对比学习训练中的表征相变,以及以增强策略调节相变速度的机制线索;具体指标、实验协议及其对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net