跳到正文
OpenReview · Representation learning· Hang Yang; Xunbo Li; Witold Pedrycz·· 2023-12-31精选AI 评分73

利用对比表征进行众包学习

Learning From Crowds With Contrastive Representation

AI 导读

基于摘要分析。本文研究众包标注存在噪声时如何改善分类学习,将优化重点从标注者及标注过程建模扩展到样本表征,提出与现有众包模型兼容的端到端框架 CrowdCons。 核心机制是先利用预训练表征与人工标注筛选高置信样本及正样本对,再扩展监督式对比损失,使其容忍噪声并支持标签之间的连续一致性,随后利用学到的表征训练分类器与标注者参数。摘要未给出置信度计算、连续一致性的定义、损失具体形式及各部分联合优化方式,这些实现细节尚未验证。 作者报告,在 LabelMe、CIFAR10-H 和 Music 三个真实众包数据集上的评估中,该方法可显著提高预测准确率;作者还报告,案例分析显示模型对噪声标注具有鲁棒性。摘要未提供具体数值、数据划分、对照模型或显著性检验细节,因此不能据此量化提升,也不能判断不同任务上的收益是否一致。实验协议、消融及统计信息尚未验证;复现还需核对预训练表征来源、标注者信息组织方式和训练配置。 平台推测(待验证):若 EEG 分类数据具有同一样本的多位标注者标签,该机制可能用于缓解标注分歧对表征学习的影响;这是假设,不是本文已证实的 BCI 效果。可复用的部分是高置信样本筛选、正样本对构造及噪声容忍对比目标,需要改造 EEG 编码器并核对标签一致性的任务含义。低信噪比、跨被试差异、通道变化及小数据条件可能使预训练表征的置信度失真,进而筛出错误正样本对。一个可检验的小实验是在具备多标注者标签的 EEG 数据上,固定编码器、标注者模型与被试隔离划分,仅比较加入该对比目标前后的分类表现,检验其是否改善噪声标签下的学习。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的具体原因是 CrowdCons 将噪声容忍的对比表征学习与标注者建模衔接,可用于考察众包标签纠错之外的表征优化价值,但其 EEG 适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net