MambaMIM:利用状态空间 token 插值预训练 Mamba 及其在医学图像分割中的应用
MambaMIM: Pre-training Mamba with state space token interpolation and its application to medical image segmentation
MambaMIM 研究如何将掩码图像建模用于 Mamba 预训练,并应用于医学图像分割;材料列出的主要贡献包括状态空间 token 插值、跨架构掩码一致性策略及层次化混合解码。基于摘要分析,实际可得材料仅为论文 Highlights,未取得全文。 机制方面,作者提出 TOKI,强调状态空间中的一致性,以支持因果学习;结合标题,其方法涉及状态空间 token 插值,但插值对象、计算方式及其与 Mamba 状态更新的关系尚未验证。作者还提出自底向上的策略,以保持不同架构之间的掩码一致性,并引入层次化混合解码来学习多尺度表征。材料未给出预训练目标、损失形式、掩码比例、训练流程或所涉及架构的具体配置。 结果方面,作者报告该方法在 CT 腹部、病灶及 MR 肿瘤分割中有效,但材料未提供数据集名称、样本规模、划分协议、对照基线、指标或数值,因此不能判断收益大小及跨任务稳定性。作者将其描述为首次探索 Mamba 上掩码图像建模潜力的尝试,该优先性主张尚未独立核实。实验协议、消融及统计信息尚未验证,复现所需的代码、权重和训练配置也尚未确认。 原论文的主要对象是医学图像分割,而非 EEG 或 BCI。现有材料不足以建立其图像掩码、状态空间插值与神经信号建模之间的具体对应关系,因此不将其改写为已验证的 BCI 方法,也不据此提出迁移实验;相关 EEG 工作尚未检索确认。
来源:OpenReview · State space models · openreview.net