跳到正文
OpenReview · Representation learning· Hanqi Jiang; Xixuan Hao; Yuzhou Huang; Chong Ma; Jiaxun Zhang; Yi Pan; Ruimao Zhang·· 2024-12-31精选AI 评分71

推进医学放射影像表征学习:具有多层级语义粒度的混合预训练范式

Advancing Medical Radiograph Representation Learning: A Hybrid Pre-training Paradigm with Multilevel Semantic Granularity

AI 导读

基于摘要分析。该研究面向医学放射影像的视觉—语言预训练,提出 HybridMED,利用报告中 findings(影像所见)与 impression(诊断印象)的层级关系,分别建立细粒度与全局视觉—文本对应,而非将不同报告段落统一处理。 核心机制包括两类对齐:全局视觉表征与 impression 对齐,视觉 token 级表征与 findings 对齐。此外,生成解码器承担两个代理任务:图像描述分支从影像生成 impression,摘要分支从 findings 生成 impression,并引入知识蒸馏辅助训练。其方法特色在于同时利用报告结构进行多粒度对齐,以及利用文本摘要任务支持影像到文本的生成学习;具体对齐目标、蒸馏损失与训练流程尚未验证。 作者报告,在 MIMIC-CXR 上的实验显示,摘要分支能够向图像描述分支有效蒸馏知识并改善模型性能;作者将参数需求未显著增加归因于共享自注意力与前馈结构。摘要未提供具体任务指标、提升幅度、参数量、数据划分或对照基线,因此尚不能量化收益或比较不同评估协议下的表现,实验协议、消融及统计信息尚未验证。 复现时需核对报告段落的提取规则、视觉 token 与文本的对应方式、共享模块范围,以及蒸馏的实施细节。本文主要研究对象是放射影像及其报告,材料未提供 EEG/BCI 验证,不能据此推断其对神经信号表征学习有效。

阅读价值

值得关注其利用放射学报告中 findings 与 impression 的语义层级组织视觉—文本对齐,并通过摘要分支向图像描述分支蒸馏知识的设计,但具体性能收益与参数开销仍需全文核对。

来源:OpenReview · Representation learning · openreview.net