ActiveMatch:端到端半监督主动表征学习
ActiveMatch: End-To-End Semi-Supervised Active Representation Learning
基于摘要分析。ActiveMatch 针对标注不足时半监督学习(SSL)可能产生模糊、区分度不足的表征这一问题,将 SSL、对比学习与主动学习结合,在训练过程中选择样本交由人工标注,以提升有限标注条件下的分类表征质量。原研究对象是通用分类表征学习,摘要报告的评估数据集为 CIFAR-10,并非 EEG 或 BCI。 方法先以少量已标注数据为起点,进行无监督对比学习预热,再结合 SSL 与监督式对比学习,并在训练期间主动选择最具代表性的未标注样本进行标注。其方法动机是减少对预训练特征的依赖,使主动选样与表征训练共同推进;具体选样准则、损失形式及各训练阶段的衔接方式尚未验证。 作者报告,在 CIFAR-10 上,与使用相同标注数量的 MixMatch、FixMatch 相比,ActiveMatch 在收集 100 个标注时达到 89.24% Accuracy,在收集 200 个标注时达到 92.20% Accuracy,并据此声称达到当时最先进表现。摘要未提供两项基线的对应分数,无法量化相对增益;初始标注与后续收集标注的计数关系、数据划分、选样轮次、重复实验、消融及统计信息尚未验证。 平台推测(待验证):该方法依赖未标注样本池、人工标注反馈及适合对比学习的数据增强,可能对应 EEG 中标注预算有限、表征区分度不足的问题。可考虑复用主动选样与训练联合迭代的流程,但需改造 EEG 编码器、增强策略及样本相似性定义。低信噪比可能使选样偏向伪迹,被试或通道差异也可能使表征主要编码非任务因素,小数据则可能放大初始标注偏差。一个可检验的小实验是在固定被试内划分和相同总标注预算下,比较主动选样与随机选样,并控制编码器及 SSL 流程一致,检验分类收益与跨随机种子的稳定性。已有 EEG 相关工作尚未检索确认。
值得核对其训练中主动选样与对比学习的耦合方式,以及相同标注预算下相对 MixMatch、FixMatch 的收益;摘要给出了 CIFAR-10 结果,但对 EEG 小样本标注的价值尚未验证。
来源:OpenReview · Representation learning · openreview.net