EMCRL:用于对比表征学习的 EM 增强负采样策略
EMCRL: EM-Enhanced Negative Sampling Strategy for Contrastive Representation Learning
基于摘要分析。本文研究自监督对比学习中的假负样本问题,提出 EMCRL:将期望最大化(EM)引入批内负样本选择,无需标注标签地估计样本关系,以减少将语义相关样本错误推远的影响。原研究对象是句子表征与图像表征,并非 EEG 或 BCI。 机制上,EMCRL 使用 EM 估计每个样本与其对应批内负样本之间真实关系的分布,再利用估计结果优化模型参数。针对 EM 对参数初始化的敏感性,作者在分布估计中加入 random flip,以增强学习过程的鲁棒性。其主要切入点是负样本关系估计,而非重新设计正样本增强;具体分布假设、random flip 的操作方式、损失形式及交替优化流程尚未验证。 作者报告,在句子与图像表征任务的多个先进模型上开展实验,结果支持 EMCRL 的有效性;摘要未给出数据集、划分、对照基线或量化指标,因而无法判断提升幅度与适用范围。作者提供公开代码,但运行依赖、计算成本、实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 对比学习的批内负样本包含相同任务状态或相似神经活动,关系估计模块可能有助于缓解错误排斥;可尝试复用 EM 负样本估计,需适配 EEG 编码器、增强方式与批次构造。该路径依赖批内关系具有可辨识结构,低信噪比、跨被试差异及通道配置变化可能使估计偏向被试身份或伪迹,小数据也可能导致估计不稳定。可在固定被试内划分、编码器、增强和批大小的条件下,对比原始批内负采样与 EMCRL,并仅在事后用标签核对假负样本识别情况,同时评估下游分类表现及多随机种子稳定性。已有 EEG 相关工作尚未检索确认。
该研究以 EM 估计批内负样本的真实关系,提供了缓解对比学习假负样本问题的可核对机制,并公开实现;其对 EEG 表征学习的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net