MambaMIM:通过状态空间 Token 插值预训练 Mamba
MambaMIM: Pre-training Mamba with State Space Token-interpolation
基于摘要分析。本文研究医疗图像任务中 Mamba 的生成式自监督预训练,提出 MambaMIM,以 Selective Structure State Space Sequence Token-interpolation(S6T)为核心,旨在增强 Mamba 的长程表征能力,并支持单一或混合 Mamba 架构。 方法在编码器中引入自底向上的 3D 混合掩码策略,以保持不同架构之间的掩码一致性;随后利用 S6T 在状态空间中学习掩码序列的因果关系。这里的“因果关系”沿用摘要表述,其具体数学定义尚未验证,不应等同于医学因果推断。相较于摘要所述 CNN 和 ViT 的生成式自监督学习背景,本文的主要方法贡献是面向 Mamba 的状态空间 Token 插值预训练,而非已验证的 EEG 解码方法。 作者报告,下游医疗图像实验支持 Mamba 预训练的可行性与先进性,但摘要未提供数据集、划分协议、对照基线或具体指标,因此无法判断收益幅度及跨任务稳定性。损失形式、掩码比例、插值实现、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库地址,但代码完整性、训练配置及复现条件尚未核验。 平台推测(待验证):若 S6T 能利用序列结构恢复被遮蔽信息,它可能为 EEG 长程时序表征的自监督学习提供参考;这一假设并不意味着医疗图像结果可直接迁移到 BCI。可考察的模块是状态空间 Token 插值,需改造的是 EEG 的时序与通道 Token 化、掩码方式及重建目标;原方法所依赖的训练规模与结构假设尚未明确。低信噪比、跨被试差异、通道布局变化和小数据可能使插值偏向背景噪声或被试特征。一个可证伪的小实验是在固定 EEG 数据划分与相同骨干、训练预算下,对比加入 S6T 与常规掩码重建的跨被试下游表现,并核对是否存在稳定增益。已有 EEG 相关工作尚未检索确认。
值得阅读其通过 S6T 在状态空间中处理掩码序列的预训练机制及跨架构掩码一致性设计,但摘要不足以验证具体性能收益或 EEG/BCI 适用性。
来源:OpenReview · State space models · openreview.net