跳到正文
OpenReview · Representation learning· Tim Lenz; Peter Neidlinger; Marta Ligero; Georg Wölflein; Marko van Treeck; Jakob Nikolas Kather·· 2024-01-01精选AI 评分78

无监督且不依赖特定基础模型的切片级表示学习

Unsupervised Foundation Model-Agnostic Slide-Level Representation Learning

AI 导读

基于摘要分析。本文研究病理全切片图像(WSIs)的无监督切片级表示学习,提出 COBRA:在特征空间整合多个基础模型生成的图块嵌入,通过对比预训练和基于 Mamba-2 的架构学习切片表示,以减少对特定临床任务弱监督的依赖。 研究背景是,Multiple Instance Learning(MIL)生成的切片表示往往针对特定临床任务,而病理基础模型的自监督学习主要解决图块级嵌入问题。不同于通过切片增强视图对齐或多模态数据学习切片表示的路线,COBRA 使用单一模态、多个基础模型提供的图块特征。摘要未说明对比样本构造、损失细节、多模型特征整合方式及 Mamba-2 的具体配置,这些机制尚需正文核对。 作者报告,COBRA 仅使用 The Cancer Genome Atlas(TCGA)的 3048 张 WSIs 进行预训练,在四个公开 CPTAC 队列上,相较其所比较的最先进切片编码器,平均 AUC 提升至少为“+4.4%”(原文表述)。具体临床任务、队列划分、基线配置及该提升的计算口径尚未验证,不宜自行换算为百分点。作者还报告,COBRA 在推理时可兼容预训练中未见的特征提取器,但适用条件及性能变化尚未验证。摘要提供了代码地址;代码完整性、运行条件、消融及统计信息尚未验证。 平台推测(待验证):可供 EEG 借鉴的机制是利用多个预训练编码器的特征进行自监督聚合,而非病理任务本身。假设不同 EEG 编码器能为同一记录提供可对齐的片段嵌入,可探索记录级表示学习;需要改造时间与通道组织、特征接口及对比视图构造。病理图块与 EEG 时序结构不同,低信噪比、跨被试差异及小数据可能削弱多编码器特征的一致性。一个可证伪的小实验是在固定跨被试划分下,对照单编码器与多编码器聚合,并检查替换为训练时未见编码器后的性能变化。以上不是本文已验证结果,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是 COBRA 如何通过多基础模型特征与对比预训练获得切片级表示,以及其对推理时未见特征提取器的兼容性边界;摘要中的病理结果尚不能支持 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net