跳到正文
OpenReview · Representation learning· Yuxuan Chen; Jiawen Li; Jiali Hu; Xitong Ling; Tian Guan; Anjia Han; Yonghong He·· 2025-12-31精选AI 评分73

跨模态原型分配:计算病理学中基于图像块–文本对比的无监督切片表征学习

Cross-Modal Prototype Allocation: Unsupervised Slide Representation Learning via Patch-Text Contrast in Computational Pathology

AI 导读

基于摘要分析。该研究面向计算病理学中的全切片图像(WSI)表征学习,提出跨模态无监督框架 ProAlign,通过文本语义构建原型,并将图像块特征聚合为可用于多种下游任务的切片表征;研究对象不是 EEG 或 BCI。 方法针对两项问题:基于多实例学习(MIL)的弱监督切片表征通常围绕特定下游任务训练,而部分无监督方案仅利用图像块的视觉信息。ProAlign 利用大语言模型(LLM)为 WSI 中的原型类型生成描述性文本,再通过图像块–文本对比构建初始原型嵌入;随后依据图像块与原型的相似度,采用无参数注意力聚合生成切片嵌入。“无参数”限定于该聚合策略,不代表整个框架无需训练。摘要未明确原型类型的确定方式、文本生成与筛选流程、对比目标及特征提取器是否更新。 作者报告,在四个公开数据集上的实验中,ProAlign 优于已有无监督框架,并达到与部分弱监督模型相当的性能。摘要未给出数据集名称、任务、指标、数值及划分方式,因此不能据此判断跨数据集泛化或量化其收益;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是“语义原型引导的局部特征聚合”,而非病理学结果本身。若用于 EEG,需要将图像块替换为时间窗或通道组表征,并建立与信号事件有可检验联系的文本原型;可复用相似度聚合思路,但需改造信号编码与跨模态对齐。低信噪比、跨被试差异、通道配置变化及小数据可能使文本语义与信号特征失配。小规模可证伪实验可在固定 EEG 编码器和相同跨被试划分下,对比均值聚合、纯信号原型聚合与文本原型聚合,并加入打乱文本原型对照,检验收益是否确实来自语义对齐。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 ProAlign 如何将文本语义引入无监督切片表征,以及无参数原型聚合能否在不同下游任务间保持有效;摘要中的性能结论仍需结合数据划分与基线协议验证。

来源:OpenReview · Representation learning · openreview.net