PLReMix:利用伪标签松弛对比表征学习应对噪声标签
PLReMix: Combating Noisy Labels with Pseudo-Label Relaxed Contrastive Representation Learning
基于摘要分析。该研究面向噪声标签学习(LNL),关注将对比表征学习(CRL)从预训练环节直接并入端到端训练后出现的性能退化,提出 PLReMix,通过伪标签松弛(Pseudo-Label Relaxed,PLR)对比损失缓解损失之间的优化冲突。 核心机制是为每个样本过滤不适当的负样本对,构建更可靠的负样本集合,减少对比学习目标与 LNL 目标之间的冲突。框架还使用二维 Gaussian Mixture Model,同时利用语义信息与模型输出区分干净样本和噪声样本。摘要未给出伪标签生成规则、负样本过滤判据、混合模型输入的具体定义及训练调度,这些实现细节尚未验证。 作者报告,直接组合 CRL 损失与 LNL 方法时出现明显性能退化,并通过实验将其归因于损失优化冲突;作者还报告,将可插拔的 PLR 损失集成到其他 LNL 方法后观察到性能改善,并在多个基准数据集上验证了方法有效性。摘要未提供数据集名称、噪声类型与比例、数据划分、对照方法或具体指标,实验协议、消融及统计信息尚未验证。材料提供了代码地址,但代码内容及复现条件尚未核验。 平台推测(待验证):若 EEG 分类训练集存在标签噪声,且伪标签具有一定可靠性,PLR 的负样本过滤机制可能减少语义相近试次被错误推远的问题;这是迁移假设,不是已证实的 EEG/BCI 效果。可复用部分是负样本筛选与样本噪声建模,需改造 EEG 编码器、数据增强和语义特征提取。低信噪比、跨被试分布差异、通道配置变化及小样本条件可能使伪标签与噪声判别同时失准。一个可证伪的小实验是在固定被试内划分和相同编码器下,仅对训练标签注入已知比例噪声,对照 LNL 基线、直接加入 CRL 与加入 PLR 的分类指标及负样本误筛情况。已有 EEG 相关工作尚未检索确认。
值得核对其伪标签负样本筛选如何缓解对比学习与噪声标签学习的损失优化冲突,以及可插拔收益能否在不同噪声协议下复现;对 EEG 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net