跳到正文
OpenReview · Representation learning· Justinas Zaliaduonis; Patrick Putzky; Till Richter; Sergios Gatidis·· 2026-05-01精选AI 评分80

仅有损失函数还不够:对比表征学习中的采样条件与归纳偏置

The Loss Is Not Enough: Sampling Conditions and Inductive Bias in Contrastive Representation Learning

AI 导读

基于摘要分析。本文研究自监督对比表征学习在何种采样条件下能够恢复有意义的潜在几何,提出测度论框架,将正样本对采样的支持要求形式化为 diversity condition,并分析其与损失函数、编码器归纳偏置的相互作用。 理论上,作者将 diversity condition 视为等距恢复潜在几何的必要条件。作者报告,在标准的全支持 von Mises–Fisher 设定下,该条件得到满足,全局最小解可恢复潜在几何,剩余不确定性为正交变换;当条件分布的支持受限时,非正交映射反而可能取得严格更低的渐近对比损失。这一区分说明,优化目标更低与几何恢复更准确并不必然一致,但结论适用范围仍取决于正文中的建模假设。 作者进一步提出支持修正的 InfoNCE 变体:修正使正交潜在空间恢复成为可达解,却不能唯一选出该解。作者报告,合成基准实验支持其可辨识性预测;CIFAR-10 实验与“采样多样性受限时,架构归纳偏置更重要”的定性预测一致。摘要未给出具体指标、采样协议及架构对照,实验协议、消融及统计信息尚未验证。 平台推测(待验证):这一机制可能对应 EEG 自监督学习中的正样本构造瓶颈,例如仅从有限时间段或增强类型生成正样本,可能不足以约束所需的表征几何。可借鉴的是采样支持的分析视角,而非直接假定 EEG 满足其潜在空间与分布假设;正样本语义及支持修正方式均需重新界定。低信噪比、跨被试差异、通道变化及小数据可能使增加采样多样性同时引入语义不一致。一个可检验的小实验是固定 EEG 编码器与训练预算,改变正样本来源的覆盖范围,在一致的被试划分下比较下游表现与预先定义的几何保持指标。该实验只能检验相关假设,不能直接证明满足理论条件;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读之处在于区分正样本对采样支持、InfoNCE 目标与编码器归纳偏置对潜在几何可辨识性的作用,提示不能仅凭损失下降判断表征是否恢复了目标几何。

来源:OpenReview · Representation learning · openreview.net