混合构造你自己的对比样本对
Mixup Your Own Pairs
基于摘要分析。该研究针对分类表征学习方法直接用于回归时可能产生潜在空间表征碎片化的问题,提出 Supervised Contrastive Learning for Regression with Mixup(SupReMix),通过在嵌入层构造混合对比样本,促进连续、有序的回归表征学习。 核心机制是同时考虑回归目标的有序性与对比样本的困难程度:将锚点与一个不同负样本混合得到的 anchor-inclusive mixtures 用作困难负样本对;将两个不同负样本混合得到的 anchor-exclusive mixtures 用作困难正样本对。其区别于仅依赖真实样本或增强样本构造对比对的方式,尝试借助混合嵌入引入更丰富的序关系。混合系数、正负样本判定规则、损失形式及理论分析的适用条件尚未验证。 作者报告,在覆盖二维图像、体积图像、文本、表格数据和时间序列信号的六个回归数据集上,SupReMix 预训练促进了连续有序表征,并改善了回归性能;作者还报告其在迁移学习、训练数据不平衡及较少训练样本的情形下优于其他方法。摘要未提供具体数据集名称、划分协议、基线与指标数值,实验协议、消融及统计信息尚未验证,不能据此判断收益幅度或跨任务稳定性。 平台推测(待验证):若 EEG 任务具有连续回归标签,SupReMix 的有序对比学习机制可能用于缓解表征与连续目标不一致的问题;这是假设,并非已验证的 BCI 效果。可复用嵌入层混合和困难样本对构造思路,但需适配 EEG 编码器、标签尺度及采样规则。低信噪比、跨被试差异、通道配置变化与小数据可能使混合嵌入偏离有效信号结构,导致所谓困难样本主要反映噪声。一个可检验的小实验是在固定 EEG 连续回归任务、相同编码器及按被试隔离的划分下,比较直接回归、无混合的监督对比回归与 SupReMix,核查回归误差和表征有序性是否同步改善。已有 EEG 相关工作尚未检索确认。
SupReMix 将回归标签的有序性与困难对比样本构造结合,值得核对其嵌入空间混合规则及相对基线的收益,但摘要不足以验证具体效果或 EEG 适用性。
来源:OpenReview · Representation learning · openreview.net