跳到正文
OpenReview · Representation learning· Tim Lenz; Peter Neidlinger; Marta Ligero; Georg Wölflein; Marko van Treeck; Jakob Nikolas Kather·· 2024-01-01精选AI 评分78

无监督、基础模型无关的切片级表示学习

Unsupervised Foundation Model-Agnostic Slide-Level Representation Learning

AI 导读

基于摘要分析。本文研究病理全切片图像(WSIs)的切片级表示学习,旨在减少弱监督 Multiple Instance Learning(MIL)所得表示对特定临床任务的依赖。作者提出 COBRA,在特征空间整合多个基础模型生成的图块嵌入,通过单模态自监督对比预训练获得切片级表示。 机制上,COBRA 采用基于 Mamba-2 的架构,将多个基础模型的图块特征用于切片表示学习。与摘要所述依赖切片不同增强之间对齐或多模态数据的既有路线相比,其关注点是利用多个特征提取器提供的表示。具体对比样本构造、损失形式、特征对齐方式及空间信息处理尚未验证。 作者报告:仅使用 The Cancer Genome Atlas(TCGA)的 3048 张 WSIs 预训练后,COBRA 在四个公开 CPTAC 队列上的平均 AUC 表现,相比所比较的先进切片编码器提升至少“+4.4% AUC”。摘要未明确该增幅是相对百分比还是绝对百分点,也未提供各队列任务、划分及单项结果,因此不能进一步换算或跨协议比较。作者还报告,COBRA 在推理时可兼容此前未见的特征提取器;兼容范围及性能变化需核对全文。摘要提供了代码地址,但复现配置、消融及统计信息尚未验证。 平台推测(待验证):多特征提取器融合与推理时兼容新提取器的思路,可能为 EEG 编码器异构带来的表示复用问题提供参考,但前提是不同编码器的输出具有可对齐的语义与样本对应关系。可复用的是特征空间聚合思路,需改造的是图块到 EEG 时间窗及通道结构的映射;低信噪比、跨被试差异和小数据可能削弱对比学习。一个可证伪的小实验是在固定跨被试划分下,比较单编码器聚合与多编码器聚合,并在测试时替换为未参与预训练的编码器,检验兼容性及性能变化。上述不是已验证的 EEG/BCI 结果,相关 EEG 工作尚未检索确认。

阅读价值

值得核对的是 COBRA 如何整合多个基础模型的特征,并在推理时兼容预训练中未见的特征提取器;这一能力的适用边界及性能对照仍需全文验证。

来源:OpenReview · Representation learning · openreview.net