跳到正文
OpenReview · Representation learning· Xu Yin; Woobin Im; Dongbo Min; Yuchi Huo; Fei Pan; Sung-Eui Yoon·· 2024-01-01精选AI 评分77

用于弱监督语义分割的细粒度背景表征

Fine-grained Background Representation for Weakly Supervised Semantic Segmentation

AI 导读

基于摘要分析。本文研究仅有图像级标签时,弱监督语义分割(WSSS)如何生成可靠伪掩码,提出细粒度背景表征方法 FBR,以缓解类激活图(CAM)混淆共现背景与前景、且难以覆盖完整目标区域的问题。 核心机制是用 negative region of interest(NROI,负感兴趣区域)捕获多样的背景语义,而非采用类别原型或像素级特征直接表征背景;通过 pixel-to-NROI 对比区分易混淆背景像素。方法还使用主动采样策略,在训练过程中挖掘前景负样本,开展前景内部的像素间对比学习,以促进完整目标区域的激活。具体 NROI 构造、正负样本定义及损失形式尚未验证。 作者报告,仅使用图像级标签监督(I)时,在 Pascal Voc 与 MS COCO 测试集上的分割结果分别为 73.2 mIoU 和 45.6 mIoU;增加显著性图监督(I+S)后,Pascal Voc 测试集结果为 74.9 mIoU。两种监督条件需分别解读。作者还报告方法可接入多种模型,并在弱监督实例分割(WSIS)任务中获得性能提升,但摘要未给出对应数值。实验协议、对照基线、消融及统计信息尚未验证。 平台推测(待验证):其可迁移机制是以多个背景语义单元处理异质负样本,而非将背景压缩为单一原型。若 EEG 任务具有试次级标签及可定义的时频区域,可假设将此机制用于弱监督时频定位;但需重新定义背景区域、局部特征与对比样本,不能直接沿用图像空间语义。低信噪比、通道与被试差异及小样本条件可能导致背景单元聚类不稳定,或误将有效神经活动视为负样本。一个小规模可证伪实验是在固定跨被试划分下,对照单一背景原型与多背景区域表征,并在具备独立区域标注的子集上评估定位质量。已有 EEG 相关工作尚未检索确认,原文结果不构成 BCI 有效性证据。

阅读价值

值得关注其以细粒度背景区域替代单一背景原型、并结合前景内部对比学习改进弱监督分割的机制;摘要提供了明确的分割结果,但对照、消融及向 EEG 场景迁移的有效性尚未验证。

来源:OpenReview · Representation learning · openreview.net