Uni-Encoder 与 Multi-Encoders 相结合:面向模态缺失脑肿瘤分割的先表征后融合
Uni-Encoder Meets Multi-Encoders: Representation Before Fusion for Brain Tumor Segmentation with Missing Modalities
基于摘要分析。本文研究多模态 MRI 缺失部分模态时的脑肿瘤分割,提出两阶段异构方法 UniME(UniEncoder Meets Multi-Encoders),通过先学习统一表征、再融合模态特定特征,兼顾跨模态信息与精细结构。研究对象是医学影像分割,不是 EEG 解码或 BCI 验证。 第一阶段使用掩码图像建模预训练单个 ViT Uni-Encoder,旨在建立对模态缺失稳健的统一表征。第二阶段引入模态特定的 CNN Multi-Encoders,提取高分辨率、多尺度、细粒度特征,再与全局表征融合以生成分割结果。核心设计是将表征学习与分割分阶段组织;各阶段是否冻结参数、具体预训练目标及融合算子尚未验证。 作者报告,在 BraTS 2023 和 BraTS 2024 的不完整多模态场景下,UniME 优于此前方法。摘要未提供具体指标、数值、缺失模态组合、数据划分或基线配置,因此尚不能判断提升幅度及不同缺失条件下的稳定性。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现完整性、预训练权重与复现条件尚未核验。 平台推测(待验证):其“缺失输入下的统一表征+输入特定局部特征”机制可能启发 EEG 缺失通道研究,但 MRI 模态不等同于 EEG 通道,需要改造输入编码、掩码策略及局部特征提取模块。低信噪比、跨被试差异与小数据可能使统一表征学习失效。可在固定跨被试划分和相同通道缺失协议下,对照统一编码器、通道特定编码器及两阶段融合方案,检验收益是否来自互补表征。该迁移尚无本文证据支持,已有相关 EEG 工作尚未检索确认。
值得核对的是 UniME 将统一表征预训练与模态特定细粒度特征提取分阶段组织的设计,以及其在模态缺失条件下的收益;具体增益与适用边界仍需全文实验验证。
来源:OpenReview · Representation learning · openreview.net