从像素到 Token:面向低预算语义分割的 Token 空间高效主动学习
Pixels to Tokens: Token Space Efficient Active Learning for Low-Budget Semantic Segmentation
TEAL 面向极低像素标注预算下的图像语义分割,利用冻结 ViT 的原生 token 表征选择标注位置,并结合解码器网格上的不确定性细化,在减少人工像素标注的同时训练分割模型。基于摘要分析,未取得论文全文。 方法针对每幅图像仅查询一个像素时的双重困难:既要找到信息量较高的位置,也要用极稀疏监督训练可靠的解码头。TEAL 在多层 token 描述符上执行两级 MaxHerding,先选出具有代表性的候选,再在更细的解码器网格上依据 margin 不确定性细化选择。其关键设计是在原生 token 网格上进行多样性选择,避免先将 token 嵌入插值到稠密像素分辨率所引入的伪影;摘要未提供解码头结构、损失函数或具体训练流程。 作者报告,在 CamVid、Cityscapes、ADE20K 和 Pascal Context 的极低标注预算评估中,TEAL 优于既有基线;每图一个标注像素时,相对最强基线的提升最高为 +24.36 mIoU,10 个标注像素预算下最高达到全监督性能的 97%。这些是摘要所述的最高结果,不能视为所有数据集均达到的效果;对应数据集、划分、预算累计方式及全监督参照配置尚未验证。作者还报告,将所有基线统一配备 DINOv3 骨干后,优势仍然存在,以支持收益并非仅来自骨干替换的解释。实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在可复用部分是冻结表征上的“多样性筛选—不确定性细化”查询机制,而非图像分割结果本身。若用于 EEG 主动标注,需要把图像 token 与像素标签改为时间窗或试次表征及相应标签,并重新定义邻域、查询成本和预测头;EEG 的低信噪比、被试差异及小样本下不稳定的不确定性估计可能使选择失效。可先在固定 EEG 编码器、相同标注预算和严格跨被试划分下,对比随机采样、仅多样性、仅不确定性与两阶段选择。已有 EEG 相关工作尚未检索确认。
值得核对其在统一 DINOv3 骨干后的主动采样收益,以及原生 token 空间多样性选择与解码网格不确定性细化各自的贡献;摘要中的极低标注预算结果仍需结合完整实验协议验证。
来源:arXiv · 学习目标与优化 · arxiv.org