跳到正文
OpenReview · Representation learning· Anurag Jayant Vaidya; Guillaume Jaume; Lukas Oldenburg; Faisal Mahmood·· 2024-10-01精选AI 评分81

计算病理学中转录组学引导的全切片表征学习

Transcriptomics-guided Slide Representation Learning in Computational Pathology

AI 导读

基于摘要分析。该研究针对计算病理学中千兆像素全切片图像(WSI)的整体表征学习问题,提出 TANGLE:利用切片与基因表达配对数据进行多模态预训练,以分子信息引导切片表征,而非仅学习局部图像块的嵌入。 核心机制是分别使用模态专属编码器处理切片与基因表达,并通过对比学习对齐其输出。作者假设,基因表达提供的组织分子描述可以作为不局限于特定下游任务的训练信号。摘要未说明图像块如何聚合为切片表征、对比损失的具体形式,以及预训练和下游推理时各模态的使用要求。 预训练数据涵盖人类与褐家鼠两个物种、三种器官:肝脏6597对切片与表达数据、乳腺1020对、肺1012对。作者在三个独立测试数据集上评估,分别包含1265张乳腺WSI、1946张肺WSI和4584张肝脏WSI;作者报告,TANGLE的少样本性能显著优于监督学习与自监督基线,在基于原型的分类和切片检索中也有明显提升。摘要未给出具体指标、提升幅度、少样本设置及显著性检验细节,不能据此比较各任务的收益大小。 该方法依赖配对的切片与基因表达数据。正文中需核对跨物种与跨器官的数据组织、训练测试隔离、基线训练条件及配对数据规模的影响;实验协议、消融及统计信息尚未验证。摘要提供了代码地址,但实现完整性与复现条件尚未核查。本研究的直接证据限于计算病理学,不构成 EEG/BCI 有效性的证据;现有材料不足以提出具体迁移方案。

阅读价值

值得阅读的是 TANGLE 利用配对基因表达为全切片表征提供对比学习信号的机制,以及作者报告的独立测试集少样本评估;其对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net