当噪声标签遇上长尾困境:一种表征校准方法
When Noisy Labels Meet Long Tail Dilemmas: A Representation Calibration Method
基于摘要分析。本文研究标签错误与长尾类别不平衡同时存在时的分类泛化问题,提出表征校准方法 RCAL:利用无监督对比学习提取表征,恢复受标签噪声和类别不平衡污染的类条件分布,再从恢复后的分布中采样额外表征点辅助训练。 核心假设是:在不存在错误标签与类别不平衡的条件下,每个类别的实例表征服从多元高斯分布。RCAL 据此进行表征分布恢复,而非仅在观测标签或类别频次上修正。摘要还称,分类器训练阶段的表征学习利用了对比学习带来的鲁棒性,但具体优化目标、参数更新方式及采样策略尚未验证。作者认为该假设比既有方法的强假设更温和且更易检验;这一判断仍需结合正文中的检验方式与适用条件核对。 作者报告提供了讨论表征校准有效性的理论结果,并在多个基准上获得支持其方法优势的实验结果。摘要未给出基准名称、数据划分、噪声机制、长尾程度、对照方法或具体指标,实验协议、消融及统计信息尚未验证,因而不能量化收益或判断其在不同污染条件下的稳定性。 平台推测(待验证):若 EEG 分类数据同时存在标签不确定性与类别不平衡,可假设其对比学习表征也能通过类条件分布校准改善分类。可复用的是“表征提取—分布恢复—表征采样”流程,需改造 EEG 编码器、对比增强及标签噪声设定。低信噪比、跨被试差异和通道变化可能使单类表征呈多峰分布,小样本尾类也可能导致分布估计不稳定。一个可检验的小实验是在固定被试内划分、保持测试集不变的条件下,仅向训练集施加可控标签噪声和类别不平衡,对比相同编码器有无 RCAL 时的 Balanced Accuracy 与尾类召回率,并检验高斯拟合情况。该实验仅用于检验迁移假设,不代表已证实的 EEG 效果;已有 EEG 相关工作尚未检索确认。
RCAL 将标签噪声与长尾类别不平衡统一为表征分布恢复问题,值得核对其高斯假设的可检验性及分布校准收益,但摘要不足以判断具体效果与适用边界。
来源:OpenReview · Representation learning · openreview.net