跳到正文
OpenReview · Representation learning· Ruijie Jiang; Prakash Ishwar; Shuchin Aeron·· 2023-12-31精选AI 评分79

通过正则化最优传输进行对比表征学习的困难负样本采样

Hard Negative Sampling via Regularized Optimal Transport for Contrastive Representation Learning

AI 导读

基于摘要分析。本文研究无监督对比表征学习中如何设计困难负样本分布,提出并分析一个最小—最大框架,并利用正则化最优传输(OT)控制负样本难度。主要贡献是揭示无额外正则约束时最坏情形优化可能导致表征退化,并将负样本分布设计与 OT 联系起来。 理论上,该框架在满足边缘分布约束的正、负样本耦合(联合分布)中,寻找使广义对比学习损失最大的耦合,同时优化表征以最小化这一最坏情形损失。作者报告证明了该问题的最小—最大最优表征会退化,并将此作为对耦合施加额外正则约束的理论依据。摘要未给出退化的具体定义、定理假设及证明细节,需查阅全文核对。 方法上,作者通过正则化传输耦合调节负样本难度,并报告熵正则化可产生与既有负样本采样方法形式相近的参数化分布。作者报告,在所评估的多个数据集上,该方案表现与所比较方法相近;所生成负样本比基线分布生成的样本更接近锚点。此外,作者提出新的基础代价函数,并报告相较平方欧氏代价,其学习表征在下游任务上表现更好。摘要未提供数据集名称、划分、具体指标或改进幅度,实验协议、消融及统计信息尚未验证。摘要提供了公开代码地址,但实现内容与复现条件尚未核验。 平台推测(待验证):该机制可能用于 EEG 自监督对比学习中的负样本难度控制,而非已验证的 BCI 算法。迁移依赖锚点、正负样本构造及可用的批内特征分布;可复用正则化 OT 耦合,需重新设计适合 EEG 的基础代价与采样约束。低信噪比、跨被试或跨通道差异可能使高相似样本成为语义假负样本,小数据也可能使耦合估计不稳定。一个可检验的假设是:固定 EEG 编码器、增强方式、训练预算与跨被试划分,仅替换基线采样、平方欧氏代价 OT 采样和新代价采样,比较同一下游指标及负样本相似度,检验更困难的负样本是否确实改善迁移。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其对最坏情形负样本采样导致表征退化的理论分析,以及通过正则化最优传输控制负样本难度的机制;其对 EEG 对比学习的价值尚未验证。

来源:OpenReview · Representation learning · openreview.net