面向医学图像分割的密集自监督学习
Dense Self-Supervised Learning for Medical Image Segmentation
基于摘要分析。本文针对医学图像分割依赖昂贵像素级标注的问题,提出 Pix2Rep,通过未标注图像学习像素级表征,以支持少样本分割。主要研究对象是心脏 MRI 图像分割,而非 EEG 解码或 BCI。 机制上,Pix2Rep 提出用于整幅图像对比式自监督预训练的像素级损失与预训练范式,可应用于 U-Net 等通用编码器—解码器骨干。与强调图像级表征在强度和空间增强下保持不变的自监督方法不同,该方法强调像素级表征的等变性。作者还将这一概念结合到非对比式自监督方法 Barlow Twins 中。摘要未提供具体损失公式、增强操作及像素对应关系的实现方式。 在心脏 MRI 分割任务中,作者报告优于所比较的半监督和自监督方法;相对于全监督 U-Net 基线,在达到相同性能时,标注需求降低 5 倍。在 one-shot 分割条件下,作者报告线性探测和微调的 DICE 分别提升 30% 和 31%,但摘要未明确其相对提升口径及对应基线,不能解读为提高相同数值的百分点。作者还报告结合 Barlow Twins 后分割性能进一步改善,未给出具体数值。数据集、样本规模、划分、标注预算定义、消融及统计信息尚未验证。 平台推测(待验证):像素级等变表征的思路可能适用于具有明确局部对应关系的 EEG 时频表示,但图像空间增强不能直接视为 EEG 的有效增强。可复用的是密集表征预训练思想,需改造输入编码、增强方式及局部对应规则;低信噪比、通道布局差异和小数据可能破坏对应关系。一个可证伪的小实验是在固定跨被试划分与标签预算下,比较同一骨干的随机初始化、全局不变性预训练与局部等变性预训练,并检查增强是否保留任务相关信息。上述迁移尚未验证,已有 EEG 相关工作尚未检索确认。
值得核对 Pix2Rep 如何以像素级等变表征减少分割标注需求,尤其是其与 Barlow Twins 的结合;摘要报告的收益仍需结合数据划分、标注预算及 DICE 计算口径验证。
来源:OpenReview · Representation learning · openreview.net