跳到正文
OpenReview · Representation learning· Shihuan He; Zongbao Yang; Jianbo Zhao; Hao Zhang; Ruxin Wang·· 2025-01-01精选AI 评分73

面向模态不完整的多模态医学图像分割的循环对比表征学习

Cyclic Contrastive Representation Learning for Incomplete Multi-modal Medical Image Segmentation

AI 导读

基于摘要分析。研究针对临床多模态医学图像中模态缺失导致的分割性能下降,提出 Cyclic Contrastive Latent Representation Segmentation(CLRS),通过循环生成模态特异性潜在表示与对比特征对齐,提高缺失模态条件下的 3D 医学图像分割鲁棒性;原研究对象并非 EEG 或 BCI。 CLRS 使用统一编码器提取可用模态特征,再以这些特征为条件合成缺失模态的潜在表示。框架引入通道注意力以增强模态特异性特征,并通过模态特异性对比学习约束生成表示与编码表示之间的跨模态区分。作者认为,这有助于将模态特异性信息与共享模式分离。摘要未说明循环合成的具体路径、正负样本构造、损失形式与权重,相关机制需结合全文核对。 作者报告在三个 3D 多模态数据集上进行了实验,并在严重模态缺失场景中取得较好表现。其中,在 ProstateZS 仅有单一模态可用时,作者报告相对其所称 SOTA,外周区和中央腺体分割分别提升超过 4.06% 和 2.20%。摘要未注明对应指标、具体基线及这些百分数的计算方式,因此不能将其直接解释为百分点提升。其余数据集名称、数据划分、样本规模、实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但代码完整性与复现条件尚未核验。 平台推测(待验证):若 EEG 任务具有同步多视图数据,且训练阶段能够提供对应视图作为监督,可检验“由可用视图生成缺失视图潜在表示”的机制能否缓解缺失输入问题。可复用的是条件潜在表示生成与对比对齐思路;3D 图像编码器、模态定义及分割目标需改造,且医学影像模态不能直接等同于 EEG 通道。低信噪比、跨被试差异和小数据可能使生成表示学习到伪相关。一个可证伪的小实验是在固定被试内划分中设置预先定义的缺失通道组,对照不使用表示生成及不使用对比约束的版本,检验完整组合是否改善同一解码任务。相关 EEG 工作尚未检索确认。

阅读价值

值得核对 CLRS 如何结合缺失模态潜在表示生成与模态特异性对比学习,尤其是严重模态缺失条件下的对照协议;其对 EEG 缺失通道问题的适用性尚未验证。

来源:OpenReview · Representation learning · openreview.net