跳到正文
OpenReview · Representation learning· Varun Belagali; Saarthak Kapse; Pierre Marza; Srijan Das; Zilinghan Li; Sofiène Boutaj; Pushpak Pati; Srikar Yellapragada; Tarak Nath Nandi; Ravi K Madduri; Joel Saltz; Prateek Prasanna; Stergios Christodoulidis; Maria Vakalopoulou; Dimitris Samaras·· 27 天前精选AI 评分78

TICON:用于组织病理学表征学习的切片级图块上下文化模型

TICON: A Slide-Level Tile Contextualizer for Histopathology Representation Learning

AI 导读

TICON 面向组织病理学全切片图像(WSI)中局部图块缺少全局上下文的问题,通过共享的 transformer 编码器统一并上下文化不同图块级基础模型生成的表征,服务于图块级与切片级任务。基于摘要分析,尚未取得论文全文。 核心机制是以掩码建模目标预训练单一共享编码器,同时完成多来源图块表征的统一与上下文建模。其出发点包括:独立提取图块嵌入会丢失切片级信息,不同图块编码器又各自在不同下游任务上表现较好。摘要未说明输入表征如何对齐、空间位置如何编码、掩码对象及损失的具体形式,这些实现条件尚未验证。 作者报告,上下文化后的嵌入在图块级 HEST-Bench、THUNDER、CATCH 及切片级 Patho-Bench 上取得新的最先进结果,但摘要未提供具体指标、数据划分、基线配置或统计信息。作者还报告,在 TICON 上进一步预训练聚合器构建切片级基础模型,仅使用 11K 张 WSI,即超过预训练使用多达 350K 张 WSI 的先进切片级基础模型;这一数据效率结论仍需结合预训练数据构成、上游图块编码器的训练资源及下游协议核对。 平台推测(待验证):可迁移的机制假设是,用共享上下文编码器整合多个冻结编码器的局部表征,可能有助于 EEG 时间窗或通道组表征建模;但病理图块的空间组织与 EEG 时空结构不同,需改造位置编码、输入对齐及掩码策略。低信噪比、跨被试差异、通道配置变化和小数据可能削弱收益。可在固定跨被试划分及相同上游编码器条件下,对比原始嵌入、单来源上下文化和多来源共享上下文化,以检验增益是否来自上下文机制。相关 EEG 工作尚未检索确认。

阅读价值

值得关注其以共享编码器和掩码建模统一多种病理基础模型表征、再补充切片级上下文的机制,但性能优势与预训练数据效率仍需核对完整评估协议。

来源:OpenReview · Representation learning · openreview.net