跳到正文
OpenReview · State space models· Zijie Fang; Yifeng Wang; Zhi Wang; Jian Zhang; Xiangyang Ji; Yongbing Zhang·· 2024-01-01精选AI 评分72

MamMIL:采用状态空间模型的全切片图像多实例学习

MamMIL: Multiple Instance Learning for Whole Slide Images with State Space Models

AI 导读

基于摘要分析。该研究面向病理全切片图像(WSIs)的多实例学习(MIL),旨在缓解超大图像中实例间全局依赖建模的计算负担。MamMIL 将选择性结构化状态空间模型 Mamba 与 MIL 结合,以线性复杂度建模全局实例依赖,并通过拓扑感知扫描和图神经网络实例聚合处理组织区域的不规则结构。 核心机制是先将每张 WSI 表示为无向图,再通过拓扑感知扫描将图序列化,使只能处理一维序列的 Mamba 接收实例序列,同时保留实例间的拓扑关系。图神经网络实例聚合模块进一步捕获拓扑结构与短程特征交互。摘要将既有方法的局限概括为未考虑全局依赖,或采用线性注意力等近似方式建模实例交互;这一对照论述属于作者观点,具体基线及复杂度核算范围尚未验证。 作者报告 MamMIL 的性能优于所比较的先进框架,但摘要未提供数据集、任务标签、划分协议、指标和数值,不能据此判断优势幅度或泛化范围。图构建规则、扫描算法细节、实例特征来源、训练目标、消融及统计信息尚未验证。摘要提供了代码地址,但实现完整性与复现条件尚未核验。 平台推测(待验证):其可迁移机制是“不规则实例图序列化—长程依赖建模—局部图聚合”,而非病理诊断结果本身。假设将 EEG 的通道或时间窗作为实例,并具有合理的图结构与样本级监督,该机制可能用于多实例分类中的长短程信息融合;需改造图构建、实例编码和扫描顺序。低信噪比、跨被试图结构差异、通道缺失及小数据下的过拟合均可能使迁移失败。一个可检验的小实验是在固定 EEG 特征与相同 Cross-subject 划分下,比较拓扑感知扫描与固定顺序扫描,并消融图聚合模块,检验拓扑设计是否带来稳定增益。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其拓扑感知扫描如何将不规则实例图转换为 Mamba 序列,并通过消融检验图聚合与全局依赖建模各自的贡献;摘要中的性能优势尚缺具体评估协议与数值支持。

来源:OpenReview · State space models · openreview.net