跳到正文
arXiv · 多模态与生成机制· Santiago Vitale; Duilio Deangeli; Ignacio Larrabide; José Ignacio Orlando·· 7 天前精选AI 评分70

通过配对的标签到物理图像转换实现基于语义标签的腹部超声仿真

Abdominal Ultrasound Simulation from Semantic Labels using Paired Label-to-Physics-Based Image Translation

AI 导读

基于摘要分析。本研究针对腹部超声仿真依赖患者特定 CT 解剖参考、限制形变和病理变化的问题,提出从语义标签生成超声图像的两阶段流程,以 CT 衍生的物理仿真图像作为训练监督,使推理不再需要患者特定 CT 体数据。 阶段 I 将解剖分割映射为简化超声图像,训练目标来自基于 CT 的 ray-casting 输出,比较了 Pix2Pix 与 Semantic Diffusion Model(SDM)。阶段 II 使用解剖引导的非配对图像转换,通过 segmentation-guided CycleGAN(SG-CycleGAN)进一步生成具有真实感的超声图像。框架通过编辑解剖语义图控制形变与病理;训练阶段 I 仍依赖 CT 衍生分割和 ray-casting 仿真,不能将推理时免用 CT 理解为整个流程不依赖 CT。 在阶段 I 的模型比较中,作者报告 SDM 在其归为形态评估的指标上显著优于 Pix2Pix:MAE 为 19.85 对 21.65,SSIM 为 0.28 对 0.24,mIoU 为 0.43 对 0.29;Pix2Pix 的感知指标点估计则更优:LPIPS 为 0.17 对 0.19,FID 为 0.32 对 0.37,KID 为 0.25 对 0.48。上述数值均按 SDM、Pix2Pix 顺序列出,不应视为完整两阶段流程的最终效果。摘要未提供数据规模、划分、指标计算与归一化方式;显著性检验、阶段 II 结果、消融及统计信息尚未验证。 机制上的阅读价值在于将物理仿真作为中间监督,而非直接从标签学习真实超声外观,并显式区分形态保真与感知质量。可控病理编辑的有效范围、编辑后图像的物理合理性及未见解剖条件下的泛化仍需核对。平台推测(待验证):这种中间物理监督思路可能启发 EEG 仿真,但须改造为电生理前向模型并处理源活动与测量噪声,不能由本研究推导 EEG 或 BCI 效果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其以物理仿真监督连接语义标签与真实感生成的两阶段机制,以及形态指标和感知指标对模型选择给出不同结论的原因;其可控性与泛化范围仍需全文验证。

来源:arXiv · 多模态与生成机制 · arxiv.org