2DMamba:用于图像表征的高效状态空间模型及其在十亿像素全切片图像分类中的应用
2DMamba: Efficient State Space Model for Image Representation with Applications on Giga-Pixel Whole Slide Image Classification
基于摘要分析。该研究面向大规模二维图像上下文建模,提出二维选择性状态空间模型(SSM)框架 2DMamba,将图像的二维空间结构融入 Mamba,并通过高度优化的硬件感知算子兼顾空间连续性与计算效率。主要研究对象是十亿像素全切片图像(WSI)及自然图像,而非 EEG 或 BCI。 机制上,论文针对两类问题展开:Transformer 处理长序列时面临二次复杂度;Mamba 虽具备线性复杂度和高并行性,但将二维图像按一维序列处理可能造成空间关系失配。摘要同时指出,现有二维 SSM 的计算速度受高效并行算法不足限制。2DMamba 的具体二维状态更新、选择机制、算子实现、训练目标及复杂度实测尚未验证。 作者报告,在用于 WSI 分类与生存分析的 10 个公开数据集实验中,AUC、F1、Accuracy 和 C-index 的最大提升分别为 2.48%、3.11%、2.47% 和 5.52%。摘要未明确这些提升对应的数据集、划分、基线,也未说明百分比是否表示相对增幅或百分点,不能据此作跨协议比较。作者还报告,将方法与 VMamba 集成后,在 ADE20k 语义分割上获得 0.5–0.7 的 mIoU 提升,在 ImageNet-1K 分类上获得 0.2% 的 Accuracy 提升;前者单位及两项结果的具体对照设置尚未验证。摘要提供了代码仓库链接,但实现完整性、运行条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移假设是,二维状态传播可能适用于具有明确电极位置的 EEG 空间表征。可复用候选是二维选择性 SSM 与高效算子,需改造的是电极坐标映射、缺失通道处理及时间信息编码;不规则电极布局、低信噪比、跨被试差异和小数据规模均可能使图像中的收益无法迁移。一个可证伪的小实验是在同一 EEG 数据、固定跨被试划分与相同输入特征下,对比二维空间映射和一维通道序列建模,并测试通道缺失扰动下的任务指标、延迟及显存占用。该实验仅为迁移假设,不是论文已验证结果;已有 EEG 相关工作尚未检索确认。
值得核对其二维选择性 SSM 与硬件感知算子如何兼顾空间连续性和计算效率;摘要提供了病理图像与自然图像任务的结果,但其对 EEG 空间建模的价值尚未验证。
来源:OpenReview · State space models · openreview.net