跳到正文
OpenReview · Representation learning· Hongyang He; Yan Zhong; Xinyuan Song; Daizong Liu; Victor Sanchez·· 2026-01-22精选AI 评分73

面向细粒度半监督学习的 Token 感知表征增强

Token-Aware Representation Augmentation for Fine-Grained Semi-Supervised Learning

AI 导读

基于摘要分析。本文研究图像细粒度半监督分类中,FixMatch 的图像级增强可能使模型过度依赖早期高置信预测、忽视其他语义特征的问题,提出 Token-Aware FixMatch(TA-FixMatch),通过 token 表征级增强引导模型发现互补证据。 机制上,FixMatch 利用无标签图像弱增强与强增强版本之间的一致性进行学习;TA-FixMatch 则识别对高置信预测贡献最大的 token,并对其进行软抑制,再通过结构化 token 级增强,对其余 token 进行扰动、重组与语义丰富。其核心思路不是仅改变输入图像,而是在表征层削弱主导证据的影响,促使模型利用其他特征。摘要未说明 token 重要性的计算方式、软抑制强度、增强算子、骨干模型及具体损失形式。 作者报告,在低标签量条件下,TA-FixMatch 在标准图像基准 CIFAR-100、STL-10,以及细粒度基准 CUB-200-2011、NABirds、Stanford Cars 上优于现有先进 SSL 方法;摘要未提供具体标签预算、划分、指标、分数及对照配置,因此无法量化优势。实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 半监督分类中模型过度依赖少数局部时空特征的瓶颈,前提是模型具有可解释的时间、通道或时频 token,并有可用的无标签数据。可考虑复用重要性估计与软抑制思路,但图像 token 的重组和语义增强需改造成符合 EEG 时序及通道结构的操作。低信噪比下的重要性估计可能追踪伪迹,抑制操作也可能破坏微弱判别信号;被试差异、通道配置变化及小样本训练会进一步增加风险。一个可检验的小实验是:在固定 EEG 任务与相同跨被试划分、标签预算和骨干下,比较原始 FixMatch、随机 token 抑制与重要性引导软抑制,检验收益是否确由特征选择机制带来。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其通过软抑制高置信预测依赖的 token 来探索互补特征的机制,但相对 FixMatch 的具体增益及向 EEG 迁移的有效性尚需验证。

来源:OpenReview · Representation learning · openreview.net