计算病理学中转录组学引导的切片表征学习
Transcriptomics-Guided Slide Representation Learning in Computational Pathology
基于摘要分析。本文研究计算病理学中如何从千兆像素全切片图像(WSIs)学习切片级表征,而非仅获得小尺寸组织图像块的嵌入。作者提出 Tangle,利用与切片配对的基因表达谱进行多模态预训练,以分子层面的组织信息指导图像表征学习。 核心机制是 slide and expression(S+E)预训练:分别使用模态专用编码器处理切片与表达谱,并通过对比学习对齐两者输出。作者假设,表达谱包含细致的组织分子信息,可提供不依赖特定下游任务的训练信号。摘要未交代切片内部图像块的聚合方式、编码器结构、对比损失具体形式及配对样本构建细节。 预训练涉及人类和褐家鼠两个物种,包含肝脏 6,597 对、乳腺 1,020 对、肺部 1,012 对 S+E 样本。作者报告,在三个独立测试数据集——1,265 张乳腺 WSI、1,946 张肺部 WSI、4,584 张肝脏 WSI——上,Tangle 的少样本表现显著优于有监督及自监督基线;在基于原型的分类与切片检索中也优于所比较的基线。摘要未提供具体指标、分数、少样本配置或统计检验细节,不能据此量化增益或判断跨物种泛化效果。 原研究对象是组织病理图像与转录组,不是 EEG/BCI。平台推测(待验证):可借鉴的只是“用配对互补模态通过对比学习指导目标模态表征”的训练机制;若用于 EEG,需要另行定义可靠的配对模态、时间对应关系与正负样本,并改造信号编码器。低信噪比、跨被试差异和有限配对数据可能使模型学到身份或采集条件而非任务信息。一个可证伪的小实验是假设存在同步 EEG 与互补模态数据,在固定跨被试划分下比较 EEG 单模态自监督、真实配对对齐及打乱配对对齐,以检验配对信息是否带来可重复收益。已有相关 EEG 工作尚未检索确认。 摘要提供了代码地址,但代码可运行性、实验协议、消融及统计信息尚未验证。
值得关注的是以配对基因表达提供跨模态训练信号、学习全切片表征的机制;作者报告了独立测试集上的少样本分类与检索收益,但其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net