跳到正文
OpenReview · Representation learning· Che Liu; Cheng Ouyang; Sibo Cheng; Anand Shah; Wenjia Bai; Rossella Arcucci·· 2024-09-26精选AI 评分77

G2D:通过视觉语言预训练实现从全局到稠密的放射影像表征学习

G2D: From Global to Dense Radiography Representation Learning via Vision-Language Pre-training

AI 导读

基于摘要分析。该研究面向放射影像的局部病理特征学习,提出 Global to Dense level representation learning(G2D),以仅含影像及对应放射学报告的图文对,同时学习全局与稠密视觉表征,改善主要依赖整幅影像与完整报告对齐的方法对像素级特征学习的不足。 核心机制是在视觉语言预训练中引入 Pseudo Segmentation(PS,伪分割)任务。作者称,PS 掩码可在预训练期间在线生成,不需要额外标注,也不引入额外可训练参数。摘要未给出掩码生成规则、监督信号构造、损失形式及其与全局对齐目标的组合方式,因此尚不能判断伪分割如何定位病理区域,或如何避免学习无关局部特征。 作者报告,G2D 在涵盖 25 种疾病的 5 项医学影像任务上取得优于比较模型的表现;其中,在分割任务中,仅使用 1% 训练数据进行微调的 G2D 超过了使用 100% 训练数据的其他模型。这是不同微调数据量条件下的比较,具体数据集、划分、指标、基线及预训练条件未在摘要中列出,实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现与复现条件尚未核查。 平台推测(待验证):可迁移的假设是,以局部代理任务补充全局配对对齐,可能有助于学习 EEG 的局部时空表征;这并非已验证的 BCI 效果。原方法依赖影像的像素空间结构与配对报告,迁移需重新定义 EEG 时间片段或通道区域的伪掩码及配对语义,不能直接把影像分割掩码用于 EEG。低信噪比、跨被试差异、通道布局变化和小数据可能使伪标签放大伪迹。若具备 EEG 与文本描述配对数据,可在相同预训练数据、编码器及跨被试划分下,对比仅全局对齐与加入局部代理任务的方案,检验低标注微调收益是否稳定;已有相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是利用在线生成的 Pseudo Segmentation 掩码补充全局图文对齐,以及作者报告的低标注分割优势;其具体比较条件与该机制对 EEG 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net