基于解耦表征学习与一致性正则化的无监督跨模态心脏图像分割
Unsupervised Cross-modality Cardiac Image Segmentation via Disentangled Representation Learning and Consistency Regularization
基于摘要分析。本文研究标注丰富的源域如何帮助标注稀缺的目标域完成跨模态心脏图像分割,提出将解耦表征学习、多样化图像转换和一致性正则化整合到同一网络中的端到端方法。其主要研究对象是医学图像分割,而非 EEG 或 BCI。 方法利用非配对图像进行跨模态转换,不局限于一对一映射,而以多对多映射描述域间关系。作者提出多样化域间语义一致性损失,以约束跨模态分割;同时引入域内语义一致性损失,鼓励原始输入与跨循环重建图像具有一致的分割结果。相较于摘要所述将图像转换与分割分开训练的既有方法,其关注点是联合优化以及多样化转换下的语义保持。具体解耦变量、网络结构和损失形式尚未验证。 作者报告在两个公开数据集上的实验支持该方法有效,但摘要未提供数据集名称、具体模态、划分方式、对照基线、指标或数值,因而无法据此判断增益幅度及适用范围;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,在保持任务语义的前提下,用多样化域转换与一致性约束缓解 EEG 域适应中的分布差异。原方法依赖源域分割标注、非配对图像和可重建的空间语义;迁移到 EEG 时需改造信号编码、域转换及任务输出,不能直接沿用图像分割结构。低信噪比、小样本、通道配置差异及被试差异可能使转换改变任务相关活动,导致一致性约束固化错误预测。可在固定通道与任务的跨被试设置下,比较源域监督基线、加入多样化转换、再加入一致性约束的效果,并核对转换是否保持任务标签。该实验仅用于检验迁移假设,已有 EEG 相关工作尚未检索确认。
值得关注其将多对多跨模态图像转换与分割一致性约束联合训练的机制,但具体增益及其对 EEG 域适应的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net