2DMamba:用于图像表征的高效状态空间模型及其在千兆像素全切片图像分类中的应用
2DMamba: Efficient State Space Model for Image Representation with Applications on Giga-Pixel Whole Slide Image Classification
基于摘要分析。本文研究大规模二维图像上下文的高效建模,主要面向千兆像素全切片图像(WSI),并在自然图像任务上验证。作者提出 2DMamba,将图像二维空间结构融入 Mamba 的选择性状态空间模型(SSM),配合高度优化的硬件感知算子,旨在兼顾空间连续性与计算效率。 机制与对照:摘要指出,Transformer 处理长序列面临二次复杂度问题;Mamba 具备线性复杂度和高并行性,但以一维序列处理二维图像可能产生空间关系偏差;现有二维 SSM 则受限于高效并行算法不足。2DMamba 的贡献是二维结构建模与高效计算的结合,而非仅将图像展平成序列。具体状态更新、二维依赖组织、损失函数、训练设置及算子性能尚未验证。 作者报告,在 10 个公开数据集的 WSI 分类与生存分析实验中,AUC、F1、Accuracy 和 C-index 的最高提升分别为原文所述的 2.48%、3.11%、2.47% 和 5.52%;摘要未明确这些数值是相对百分比还是绝对百分点,也未提供各项对应的数据集、划分和对照基线,不能作为统一协议下的综合收益。作者还报告,将该方法与 VMamba 集成后,ADE20k 语义分割的 mIoU 提升 0.5–0.7(摘要未明确单位),ImageNet-1K 分类 Accuracy 提升 0.2%(增量口径未明确)。摘要提供了代码地址,但代码可用性、实验协议、消融及统计信息尚未验证。 平台推测(待验证):可检验的迁移假设是,二维结构保持机制可能适用于具有明确通道空间布局的 EEG 表征,以缓解展平处理造成的邻接关系失真。可考虑复用二维 SSM 与算子,但需改造输入布局、位置表达及任务输出;病理图像的二维邻接并不等同于 EEG 电极拓扑,低信噪比、缺失通道、跨被试差异和小数据规模均可能使收益失效。小规模验证可在固定跨被试划分、相同输入及训练预算下,对比二维布局与一维展平的 Mamba,并用打乱通道空间布局的对照检验收益是否确实来自空间结构,同时记录任务指标、显存和推理耗时。已有相关 EEG 工作尚未检索确认。
值得核对其二维选择性状态空间建模与硬件感知算子的实现,尤其是空间连续性和计算效率如何兼顾;摘要报告了病理及自然图像任务收益,但其 EEG/BCI 迁移价值尚未验证。
来源:OpenReview · State space models · openreview.net