跳到正文
OpenReview · Representation learning· Runze Wang; Guoyan Zheng·· 2021-01-01精选AI 评分72

使用非配对数据的深度 MR 到 CT 合成解耦表征学习

Disentangled Representation Learning For Deep MR To CT Synthesis Using Unpaired Data

AI 导读

基于摘要分析。该研究针对 MR 到合成 CT(sCT)转换中同一患者配准成对训练数据难以获取的问题,提出使用非配对数据的解耦表征学习方法,将跨模态共享的解剖几何信息与模态特异的外观信息分开建模。 方法将图像嵌入两个空间:模态不变的几何空间用于捕获不同成像域共享的解剖信息,模态特异的外观空间用于表示影像外观。合成时,模型结合 MR 图像编码得到的几何特征与从 CT 外观空间采样的外观向量,生成 sCT 图像。针对皮质骨与空气在 MR 中均呈低强度、难以区分的问题,作者提出 Geometry Similarity Module(GSM),利用上下文信息辅助处理这一歧义;摘要未说明该模块的具体计算方式及训练约束。 作者报告,在所开展的 MR 到 CT 合成实验中,该方法取得优于或相当于当时最先进方法的结果。但摘要未提供数据集、样本规模、训练与测试划分、对照方法名称或定量指标,因此尚不能判断优势幅度及适用范围。损失函数、非配对训练流程、几何保持效果、GSM 消融及统计信息尚未验证。 论文的主要研究对象是医学影像跨模态合成,而非 EEG 解码或 BCI。摘要所描述的机制依赖图像域之间共享的解剖几何结构,不能直接视为已验证的跨被试神经信号表征方法;其 EEG/BCI 适用性尚未建立,相关工作尚未检索确认。

阅读价值

值得关注其如何以解耦的几何与外观表征支持非配对 MR 到 CT 合成,以及 GSM 对骨与空气低强度歧义的处理;摘要中的性能结论仍需结合完整实验协议核对。

来源:OpenReview · Representation learning · openreview.net