利用类别标签学习中 Swin Transformer 的逐头梯度注入自注意力图进行弱监督颅内出血分割
Weakly Supervised Intracranial Hemorrhage Segmentation using Head-Wise Gradient-Infused Self-Attention Maps from a Swin Transformer in Categorical Learning
基于摘要分析。该研究针对颅内出血(ICH)图像分割依赖高成本像素级或体素级标注的问题,以类别标签训练 Swin Transformer 完成 ICH 分类,再通过分层组合逐头梯度注入自注意力图生成分割结果。研究的主要对象是医学图像中的出血区域,而非 EEG 或 BCI 信号。 核心机制是从分类模型的自注意力中提取定位信息,并利用梯度增强各注意力头对目标类别的响应,再进行层级组合。摘要未提供梯度注入、注意力聚合及分割后处理的具体公式与设置,尚不能据此完整复现。作者还探索了不同分类学习策略,并报告二分类 ICH 任务比完整 ICH 亚型分类更有利于自注意力图的表现;这一观察提示分类任务设计可能影响弱监督定位,但尚不能推广为普遍结论。 作者报告,在其 ICH 分割评估中,该方法的平均 Dice 为 0.44,与全监督 U-Net、Swin-UNETR 的分割表现相近,并优于使用 GradCAM 的类似弱监督方法。摘要未列出数据集、样本量、数据划分、各基线具体分数及不确定性,因此该比较仅适用于作者所述评估,不能据此认定弱监督普遍等同于全监督。实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但代码内容与复现条件尚未核验。 平台推测(待验证):其可供 EEG 方法研究借鉴的是“由类别监督提取局部定位”的机制,而不是 ICH 分割结果本身。若使用具有时间或时频 token 的 EEG Transformer,可探索分类标签能否支持事件片段定位;需改造输入表示、注意力聚合及定位输出,并使用独立的事件级标注验证。低信噪比、跨被试差异及通道布局变化可能使注意力聚焦于伪迹而非目标活动。一个可证伪的小实验是在固定被试内划分、模型和类别监督的条件下,比较该机制与 GradCAM 对人工标注事件区间的定位表现。相关 EEG 工作尚未检索确认。
值得核对其如何将分类监督下的逐头梯度自注意力转化为分割定位,以及与全监督模型比较时的数据划分和标注预算;摘要尚不能支持其对 EEG/BCI 的有效性。
来源:OpenReview · Representation learning · openreview.net