EMCRL:用于对比表征学习的 EM 增强负采样策略
EMCRL: EM-Enhanced Negative Sampling Strategy for Contrastive Representation Learning
基于摘要分析。本文研究句子与图像表征学习中批内负采样可能将语义相关样本误作负样本的问题,提出 EMCRL,将期望最大化(EM)引入无监督负样本选择,以区分假负样本与真负样本,改善对比表征学习。 核心机制是使用 EM 估计每个样本与其对应批内负样本之间真实关系的分布,再利用估计结果优化模型参数。针对 EM 对参数初始化敏感的问题,作者在分布估计中加入随机翻转,以增强学习过程的稳健性。其主要改动集中于负样本关系估计,而非正样本的数据增强;摘要未给出分布假设、随机翻转规则、损失形式或具体训练流程。 作者报告,在句子表征与图像表征任务的多个先进模型上,实验支持 EMCRL 的有效性,并声明代码已公开。摘要未提供数据集、数据划分、对照基线、指标或数值,因此尚不能判断收益幅度及其对批量大小的依赖;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该方法依赖批内样本关系的可估计性,其机制可能对应 EEG 自监督对比学习中同类状态被误作负样本的问题,但原领域结果不构成 EEG/BCI 有效性证据。可考虑复用负样本关系估计模块,EEG 编码器、片段构造与增强策略则需适配。低信噪比、跨被试差异、通道变化及小数据可能使关系估计偏向被试或采集条件,而非目标任务。一个可检验的假设是:在固定编码器、批量大小和增强策略的 EEG 跨被试划分下,相比普通批内负采样,该估计机制能减少同任务类别的假负样本,并改善下游表现;类别标签仅用于离线诊断与下游评估,不参与无监督关系估计。已有 EEG 相关工作尚未检索确认。
值得关注其利用 EM 无监督估计批内负样本关系、缓解假负样本问题的机制,但摘要未提供量化结果,其在 EEG 对比学习中的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net