跳到正文
OpenReview · State space models· Fenghe Tang; Bingkun Nian; Yingtai Li; Zihang Jiang; Jie Yang; Wei Liu; S. Kevin Zhou·· 2025-01-01精选AI 评分71

MambaMIM:通过状态空间 token 插值预训练 Mamba 及其在医学图像分割中的应用

MambaMIM: Pre-training Mamba with state space token interpolation and its application to medical image segmentation

AI 导读

基于摘要分析(现有材料仅含 Highlights,未取得论文全文)。MambaMIM 研究如何将掩码图像建模用于 Mamba 预训练,并应用于医学图像分割;核心设计包括状态空间 token 插值、跨架构掩码一致性策略和分层混合解码。 方法方面,作者提出 TOKI,强调状态空间的一致性以支持因果学习;结合标题,TOKI 与状态空间 token 插值有关,但插值对象、计算方式及其与预训练目标的关系尚未验证。作者还提出自底向上的策略,以保持不同架构之间的掩码一致性,并引入分层混合解码以学习多尺度表示。材料未说明所涉及的架构、掩码生成规则、损失函数或解码器实现,不能据此还原完整训练流程。作者将探索 Mamba 掩码图像建模称为首次尝试,这一优先性主张尚未独立核实。 作者报告方法在 CT 腹部、病灶及 MR 肿瘤分割中有效,但材料未提供数据集、划分、对照基线、指标或数值,因此无法判断收益幅度与适用边界;实验协议、消融及统计信息尚未验证。 原论文的主要对象是医学图像,而非 EEG 或 BCI。现有材料不足以建立状态空间 token 插值与神经信号建模之间的具体机制对应,不据此推断跨被试或小数据场景中的有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其面向 Mamba 的掩码建模预训练设计,尤其是状态空间一致性与跨架构掩码一致性的处理,但具体机制和分割收益尚需全文验证。

来源:OpenReview · State space models · openreview.net