跳到正文
OpenReview · Representation learning· Yongqi Zhang; Hui Zhang; Quanming Yao; Jun Wan·· 2023-01-01精选AI 评分71

结合自监督学习与含噪标签的监督学习

Combining Self-Supervised and Supervised Learning with Noisy Labels

AI 导读

基于摘要分析。本文研究视觉分类中 CNN 容易过拟合噪声标签的问题,提出 CS 3 NL:先通过不使用标签的自监督表征学习(SSRL)获取表征,再直接使用含噪标签训练分类器,将表征学习与分类器学习区别处理。 核心机制是降低标签噪声对表征学习的影响,而非在摘要中提出标签清洗方案。作者以“分类器对噪声标签相对稳健、表征学习更脆弱”的观察为设计依据。具体采用何种 SSRL 目标、数据增强、训练顺序,以及分类器训练时是否冻结表征,尚未验证。 作者报告在合成与真实基准数据集上开展实验,方法优于所比较的先进方法,尤其在高标签噪声水平下优势更明显。摘要未提供数据集名称、噪声类型与比例、评价指标、具体数值或基线配置,因此无法量化优势或判断不同协议下的适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,将 EEG 的自监督表征学习与含噪标签监督训练分开,可能减少标签错误对表征的干扰。可复用的是训练职责分离思路,需改造信号编码器及符合 EEG 生理特性的自监督任务;其效果依赖未标注数据规模与覆盖范围。低信噪比、通道差异和跨被试分布变化可能使表征保留伪迹而非任务信息,小数据也可能限制 SSRL。可在固定的被试内划分下,仅对训练标签施加明确比例的噪声,比较该分离方案与同编码器端到端监督训练,并保持测试标签不变,以检验随噪声增加的性能变化。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其将无标签表征学习与含噪标签分类器训练分离的机制,以及高噪声条件下的对照协议;作者报告的视觉分类优势尚不能视为 EEG/BCI 有效性的证据。

来源:OpenReview · Representation learning · openreview.net