跳到正文
OpenReview · State space models· Omer F. Atli; Bilal Kabas; Fuat Arslan; Mahmut Yurt; Onat Dalmaz; Tolga Çukur·· 2024-01-01精选AI 评分70

I2I-Mamba:通过选择性状态空间建模实现多模态医学图像合成

I2I-Mamba: Multi-modal medical image synthesis via selective state space modeling

AI 导读

基于摘要分析。该研究面向多模态医学图像合成中的缺失图像补全,提出对抗式模型 I2I-Mamba,以选择性状态空间建模(SSM)捕获长程上下文,同时保持局部精度。主要研究对象是多对比度 MRI 与 MRI-CT 协议下的目标模态图像合成,而非 EEG 解码或 BCI。 核心机制是在卷积骨干的瓶颈位置嵌入 channel-mixed Mamba(cmMamba)模块:SSM 层沿特征图的空间维度学习上下文,通道混合层沿通道维度学习上下文。其设计动机是结合卷积的局部建模与自适应长程信息处理,缓解 transformer 自注意力较高的模型复杂度在相对小规模医学影像数据上可能带来的学习困难。摘要未给出具体对抗损失、辅助损失、空间序列化方式或训练流程,这些细节尚未验证。 作者报告,在多对比度 MRI 和 MRI-CT 缺失图像补全实验中,I2I-Mamba 的目标模态图像合成性能优于所比较的先进 CNN 与 transformer 方法。摘要未提供数据集名称、样本规模、数据划分、基线名称及定量指标,因此不能判断优势幅度,也不能直接比较不同协议下的效果。模型复杂度、计算效率、消融及统计信息尚未验证。 复现时需核对空间 SSM 与通道混合各自的贡献,以及性能收益是否伴随参数量、计算量或训练资源的变化。该材料未提供神经信号任务的验证,医学图像合成效果不能作为 EEG 或 BCI 有效性的证据;相关 EEG 工作尚未检索确认。

阅读价值

值得阅读其在卷积骨干瓶颈中结合空间状态空间建模与通道混合的设计,以核对长程上下文建模与局部精度的权衡;摘要中的性能优势仍需结合完整实验协议验证。

来源:OpenReview · State space models · openreview.net