跳到正文
OpenReview · Representation learning· Marta Ligero; Tim Lenz; Georg Wölflein; Omar S. M. El Nahhas; Daniel Truhn; Jakob Nikolas Kather·· 2024-01-01精选AI 评分74

面向放射影像的异常驱动表征学习

Abnormality-Driven Representation Learning for Radiology Imaging

AI 导读

基于摘要分析。该研究针对三维放射影像表征学习所面临的计算、数据需求与解剖结构复杂性问题,提出 CLEAR:提取二维切片嵌入,再通过注意力聚合预测临床终点;其中的 lesion-enhanced contrastive learning(LeCL,病灶增强对比学习)旨在学习由 CT 异常区域驱动的视觉表征。 研究的主要对象是 CT 放射影像,而非 EEG 或 BCI。其技术路径区别于基于其他任务预训练模型、再端到端微调的三维网络流程:先在 CT 不同位置的二维轴向切片上学习表征,再聚合切片信息。作者在 Vision Transformers、Vision State Space Models 和 Gated Convolutional Neural Networks 三类架构上训练单域对比学习方法。摘要未说明病灶信息如何参与样本构造或损失计算,也未明确其所需标注,因此尚不能判断 LeCL 的具体监督需求与复现成本。 作者在肿瘤病灶定位、肺部疾病检测和患者分期三个临床任务上,与包括 BiomedCLIP 在内的四个基础模型进行比较。作者报告,采用 LeCL 表征的 CLEAR 优于这些对照,并具有更高的计算与数据效率;摘要未提供具体指标、效应幅度、数据规模、患者划分或资源核算条件,不能据此量化优势或判断跨任务稳健性。 复现时需核对二维切片采样与预处理、病灶信息来源、注意力聚合方式,以及对照模型的适配和训练条件。实验协议、消融及统计信息尚未验证。该摘要未建立与 EEG 信号结构或 BCI 任务的具体对应关系,不能将放射影像上的结果视为 BCI 有效性证据;相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以异常驱动的二维切片表征结合注意力聚合来处理 CT 临床任务的路径,但作者报告的性能与计算、数据效率优势仍需结合全文中的划分协议、监督条件和资源统计核对。

来源:OpenReview · Representation learning · openreview.net