A4-MR:面向磁共振的异常感知解剖对齐
A4-MR: Abnormality-aware Anatomical Alignment for MR
A4-MR 针对现有 MRI 视觉语言模型在解剖定位与病理感知表征方面的不足,提出通过解剖级图文对齐和健康/异常解剖表征学习,使单一 3D 基础模型支持定位、分割及病理相关任务。以下基于摘要分析,未取得论文全文。 模型使用约 50,000 项 MRI 检查、共 491,000 个序列进行训练,其中约一半序列配有放射学报告。其设计包含三个方向:通过带噪标签的大规模预训练学习解剖定位;在解剖层面对齐图像与文本表征;学习区分健康与异常解剖结构的表征。摘要未说明带噪标签的生成方式、解剖级对应关系的构建方式、具体损失函数,以及异常监督如何进入训练,相关机制尚待全文核对。 作者报告,在异常检测任务中,A4-MR 相比 MedSigLIP 的 AUROC 提升为 +1.7;在冻结编码器的膝关节分割评估中,相比端到端训练的任务专用 MedNeXt,Dice 提升为 +1.4;在 AMOS 腹部器官分割中,与最佳任务专用模型的 Dice 差距在 0.4 以内。上述数值沿用摘要记法,其指标量纲、数据划分及统计不确定性尚未验证。作者还报告,不提供解剖提示时,A4-MR 的 3D 解剖定位表现可与获得真实标注边界框提示的 MedSAM2 相当,但摘要未给出定位指标与具体数值。 阅读重点是解剖级对齐与异常感知学习各自的贡献,以及预训练数据与下游评估数据的关系、冻结编码器时的任务适配方式和不同基线的评估条件。实验协议、消融及统计信息尚未验证。该研究的主要对象是 MRI 图像与放射学报告,并非 EEG 或 BCI;摘要尚不足以建立具体的跨模态迁移机制,不能将其影像任务结果视为 BCI 有效性的证据。相关 EEG 工作尚未检索确认。
值得核对其解剖级图文对齐与健康/异常表征学习机制,尤其是冻结编码器下的分割表现,但摘要不足以判断性能增益的来源及其对 EEG/BCI 的适用性。
来源:arXiv · 表征与预训练 · arxiv.org