AFiRe:面向放射影像细粒度表征的解剖驱动自监督学习
AFiRe: Anatomy-Driven Self-Supervised Learning for Fine-Grained Representation in Radiographic Images
基于摘要分析。该研究针对放射影像自监督学习偏重全局判别、难以充分保留细粒度解剖信息的问题,提出 AFiRe,将解剖一致性与 Vision Transformer 的 token 处理方式结合,以支持少标签多标签分类和异常检测。 机制上,AFiRe 协同采用两种自监督任务:一是 token 级解剖引导对比学习,依据结构与类别一致性对齐图像 token,增强局部空间及解剖判别能力;二是像素级异常移除恢复,聚焦局部异常,通过恢复任务补充细致的几何信息。摘要未说明类别一致性的获取方式、异常构造细节及两项任务的具体损失与权重,这些内容尚未验证。 数据增强方面,作者提出 Synthetic Lesion Mask,目标是在保持内部一致性的同时增加解剖多样性。其动机是裁剪和仿射变换等传统增强可能破坏所需的一致性;具体生成过程及适用边界需结合全文核对。 作者报告,相比所比较的先进对比学习方法,AFiRe 形成更紧凑的特征簇;在有限标注的多标签分类任务中超过 7 种放射影像专用自监督方法;并可仅使用图像级标注进行异常检测。摘要未提供数据集、划分、标注比例、指标或数值,因此不能据此判断增益幅度或跨数据集泛化能力,实验协议、消融及统计信息尚未验证。 平台推测(待验证):可考察的跨领域机制是以结构一致性约束局部表征,而不是直接复用放射影像病灶增强。假设 EEG 通道拓扑或时频局部结构能提供可靠对应关系,可尝试改造 token 对齐模块;像素恢复任务和 Synthetic Lesion Mask 则不能直接照搬。低信噪比、跨被试解剖与功能差异、通道布局变化及小数据均可能使局部对应失效。一个可证伪的小实验是在固定数据划分和相同骨干下,对比普通对比学习与加入通道拓扑一致性约束的预训练,检查跨被试任务增益是否稳定。已有 EEG 相关工作尚未检索确认。
值得关注其如何将解剖一致性落实到 token 级对比学习与像素级恢复,并核对这种局部表征设计在少标签分类及仅图像级标注的异常检测中的贡献;其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net