标签相似性课程学习
Label-similarity Curriculum Learning
基于摘要分析。本文研究图像分类中的课程学习,提出 Label-similarity Curriculum Learning(LCL):训练初期以反映类别相似性的概率分布替代 one-hot 标签,再逐步转向标准 one-hot 编码,以先学习较宽泛的类别关系、后区分细微差异。 核心机制是通过改变目标标签表示来调整损失函数,使训练早期对相似类别间错误的纠正弱于对差异较大类别间错误的纠正。类别相似性可以来自先验知识;当类别标签为自然语言词汇时,作者使用标准 word embedding 将其嵌入欧氏空间,再依据类别词向量与真实标签词向量的余弦相似度构造目标概率。具体概率映射、课程调度及损失形式尚未验证。 作者报告,在五个图像分类数据集、多个常用深度学习架构上的评估中,LCL 相比标准训练均提高了测试集分类 Accuracy;摘要点名的数据集包括 ImageNet、CIFAR100 和 AWA2,但未提供具体提升幅度。数据划分、基线训练配置、消融及统计信息尚未验证,尚不能据此判断收益来自类别关系、软目标本身还是课程调度。 平台推测(待验证):该方法依赖可用且可信的类别相似性,可能用于探索 EEG 分类中易混淆类别的监督设计,而非直接处理信号去噪或跨被试分布变化。可复用模块是软目标生成与课程调度;需改造的是相似性来源,因为任务名称的词义关系未必对应 EEG 的可分性。低信噪比、被试差异、通道配置变化与小数据下不稳定的相似性估计均可能削弱效果。一个可检验的小实验是在固定 EEG 任务和同一被试内划分下,对比 one-hot 训练、固定软标签与 LCL,保持模型和训练预算一致,并仅用训练数据估计数据驱动的类别相似性,检查预先指定的分类指标及混淆模式。已有 EEG 相关工作尚未检索确认。
值得核对 LCL 如何将类别相似性转化为随训练变化的监督目标,以及其相对标准训练的收益;该机制可提出 EEG 分类迁移假设,但摘要未提供 EEG/BCI 有效性证据。
来源:OpenReview · Representation learning · openreview.net