跳到正文
arXiv · 表征与预训练· Hao Wang; Qiwei Zeng; Jinghao Lin; Shuchang Ye; Yuezhe Yang; Yige Peng; Haoyuan Che; Jinman Kim; Lei Bi·· 4 天前精选AI 评分74

ΔRepresentation:面向医学 VLMs、通过反事实推理实现的几何监督表型表征学习

$Δ$Representation: Geometry Supervised Representation Learning of Phenotypes via Counterfactual Reasoning for Medical VLMs

AI 导读

基于摘要分析。该研究面向医学视觉语言模型(VLMs)的放射影像解读,试图区分基础解剖信息与叠加其上的病理表型变化。作者提出 ΔRepresentation,通过几何监督学习解剖表征,再以病灶相对于对应正常解剖的表征增量刻画表型,而不只依赖语义引导的表征对齐。 框架包含 BaseAnatomy 和 ΔPhenotype 两个模块。BaseAnatomy 利用解剖结构内部及结构之间的空间关系提供细粒度几何监督;ΔPhenotype 计算病灶表征与对应正常解剖表征之间的增量,并监督同一表型的增量在表征空间中聚集。其核心机制是将表型建模为相对于正常解剖的变化,而非直接将病灶整体表征与语义对齐。正常解剖参照的构造方式、反事实对应关系及具体损失形式尚未验证。 作者报告,在 ReXGroundingCT 和 LIDC-IDRI 上,该方法能够组织病理表型表征,并提高医学 VLMs 的病灶定位(lesion grounding)与表型刻画准确性。摘要未给出具体指标数值、划分协议或对照基线,因此无法据此判断提升幅度及不同设置下的稳定性;实验协议、消融及统计信息尚未验证。 摘要提供了代码地址,但代码内容、可运行性、训练配置及预训练权重依赖尚未核验。复现时值得优先核对几何监督所需标注、正常解剖参照的获取流程,以及两个模块的独立贡献。该论文的主要研究对象是放射影像中的病理表型,并非 EEG 或 BCI;现有材料不足以建立具体迁移路径,不据此推断神经信号解码效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其如何构造病灶对应的正常解剖表征,以及几何监督与表征增量聚类各自对病灶定位和表型刻画的贡献;摘要尚不足以确认反事实对应的可靠性或 BCI 迁移价值。

来源:arXiv · 表征与预训练 · arxiv.org