跳到正文
OpenReview · Representation learning· Manyi Zhang; Chun Yuan; Jun Yao; Weiran Huang·· 2022-01-01精选AI 评分74

含噪声标签的类别不平衡数据学习

Learning with Noisily-labeled Class-imbalanced Data

AI 导读

基于摘要分析。本文研究大规模数据中标签错误与类别不平衡并存时的泛化问题,提出表征校准方法 RCAL:在无监督对比学习提取的表征上恢复潜在类别分布,再从恢复后的分布采样额外表征点以辅助分类训练。 核心机制是一个分布假设:若不存在错误标签与类别不平衡,各类别的样本表征服从多元高斯分布。RCAL 据此从受污染的表征分布中恢复潜在分布。作者认为这一假设比既有方法的强假设更温和、更易检验;其适用条件仍需结合正文核对。摘要还指出,分类器训练中的表征学习利用了对比学习带来的鲁棒性,但未披露具体损失形式、分布估计步骤及训练流程。 作者报告提供了讨论表征校准有效性的理论结果,并在多个基准上取得支持其方法优势的实验结果。摘要未给出基准名称、噪声类型与比例、类别不平衡程度、数据划分、对照方法或具体指标,因此不能量化收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 分类数据同时存在标签噪声与类别不平衡,RCAL 的表征分布校准及补充采样机制可能具有参考价值,但原论文摘要未涉及 EEG。可复用部分是表征空间的分布恢复与采样,需改造的是适合 EEG 时序及通道结构的对比学习编码与数据增强。低信噪比、跨被试分布差异、小样本少数类,以及类别表征偏离高斯假设,都可能使恢复误差被采样放大。一个可证伪的小实验是在固定被试内划分中,仅对训练集施加受控标签噪声与类别不平衡,对比同一表征下启用和不启用 RCAL 的 Balanced Accuracy,并核对少数类表现;这属于迁移假设,而非已验证结果。已有 EEG 相关工作尚未检索确认。

阅读价值

RCAL 将噪声标签与类别不平衡联合建模为表征分布校准问题,值得核对其分布恢复条件及少数类收益,但摘要不足以验证其效果大小或 EEG 适用性。

来源:OpenReview · Representation learning · openreview.net