通过收缩类别空间提升半监督学习的确定性
Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning
基于摘要分析。本文研究半监督学习中固定置信度阈值导致不确定样本利用不足的问题,提出 ShrinkMatch:为不确定样本自适应收缩类别空间,并在该空间内施加一致性正则,以利用原本可能被过滤的未标注样本。 核心机制是保留样本原始预测的 top-1 类别及其他较低可能性的类别,移除与 top-1 类别容易混淆的类别,再重新计算置信度,使其满足预设阈值。随后,方法在收缩后的类别空间内约束同一样本强、弱增强预测的一致性。针对不确定样本可靠性的差异以及模型随训练逐步改善的情况,作者还设计了两项针对不确定样本损失的重加权原则;具体权重定义与训练调度尚未验证。 相较于直接丢弃低置信度样本的策略,该方法的关键在于改变这些样本参与学习时的类别集合,而非单纯降低置信度阈值。作者报告方法在常用基准上表现良好,但摘要未提供基准名称、标注预算、数据划分、对照方法及具体指标,实验协议、消融及统计信息尚未验证。复现时需重点核对混淆类别的识别规则,以及原始 top-1 预测错误时,类别空间收缩与重加权能否抑制错误强化。 平台推测(待验证):若 EEG 分类任务具有少量标注、大量未标注数据及可定义的离散类别,该机制可能用于探索低置信度样本的利用。可复用类别空间收缩与重加权思路,但强、弱增强需改为符合 EEG 信号语义的变换。低信噪比、跨被试分布偏移及通道差异可能使错误 top-1 预测更易被强化;类别数很少时,收缩也可能削弱有效监督。一个可检验的小实验是在固定被试内划分和标注预算下,对照阈值过滤与 ShrinkMatch,同时记录分类指标、未标注样本利用率及被接纳伪标签的正确率,以区分置信度上升与真实性能改善。已有 EEG 相关工作尚未检索确认。
值得核对 ShrinkMatch 如何通过收缩类别空间利用低置信度未标注样本,尤其需检验重算置信度是否带来真实判别收益,而非仅提高阈值通过率。
来源:OpenReview · State space models · openreview.net