跳到正文
OpenReview · Representation learning· Moritz Schaefer; Zoe Piran; Nils Philipp Walter; Animesh Awasthi; Christoph Bock; Jure Leskovec; Zinaida Good·· 2026-05-01精选AI 评分81

传递表征学习提升组织病理学标注

Transitive Representation Learning Enhances Histopathology Annotation

AI 导读

基于摘要分析。研究针对组织病理学图像标注粒度较粗、难以识别细胞身份的问题,提出三模态对比学习模型 SpatialWhisperer,以基因表达为桥梁连接组织病理学图像与自然语言描述,实现直接从 H&E 图像进行零样本细胞类型标注。 方法整合了与组织病理学图像配对的空间分辨基因表达数据,以及带有详细注释的单细胞基因表达数据。其核心机制是利用共享的基因表达模态,建立图像与文本注释之间的传递关系,而非仅依赖图像—文本直接配对。作者还对该方法进行了形式化,并给出能够诱导传递对齐的一个充分条件;具体损失函数、理论假设及条件的适用范围尚未验证。 作者报告,在覆盖19种组织和20种细胞类型的三个基准上,相较已发表基线,AUROC 相对增益最高达15.9%;该数值不是百分点提升,摘要未提供各基准的绝对 AUROC、具体基线及数据划分。作者还报告,使用全部三种模态对的训练数据时,在低数据量条件下获得性能增益,但具体数据规模和对照设置尚未验证。实验协议、消融及统计信息尚未验证。 论文的主要对象是组织病理学细胞标注,并非神经信号解码。平台推测(待验证):若 EEG 数据存在可与另一模态共享、且语义对应可靠的桥接表征,传递对齐可能用于研究缺少直接信号—文本配对时的表征学习;但本材料未建立这样的具体对应关系,因此不据此提出 BCI 复现实验方案。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其利用共享基因表达模态实现图像与文本传递对齐的机制及充分条件,但零样本标注的评估协议与相对增益仍需全文核对,不能据此推断 EEG/BCI 有效性。

来源:OpenReview · Representation learning · openreview.net