通过解耦表示学习与一致性正则化实现无监督跨模态心脏图像分割
Unsupervised Cross-modality Cardiac Image Segmentation via Disentangled Representation Learning and Consistency Regularization
基于摘要分析。本文研究如何利用标注丰富的源域,为标注稀缺的目标域训练心脏图像分割模型,提出将解耦表示学习、多样化图像转换与一致性正则化结合的端到端无监督跨模态分割方法。其主要研究对象是医学图像分割,而非 EEG 或 BCI。 机制上,方法使用非配对图像转换连接不同模态,不再将图像转换与分割分成独立训练阶段;通过解耦表示学习,将域间关系建模为多对多映射,而非一对一映射。作者提出多样化域间语义一致性损失,以约束跨模态分割过程;另引入域内语义一致性损失,使原始输入与经过跨循环重建的图像获得一致的分割结果。摘要未给出表示如何解耦、损失的具体形式与权重,也未明确目标域标注在实验中的使用协议。 作者报告在两个公开数据集上开展实验,结果支持方法有效,但摘要未提供数据集名称、模态组合、数据划分、评价指标或数值。相较分阶段训练及一对一映射的实际增益、各一致性损失的独立贡献,以及实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制假设是,在存在稳定任务语义、但观测风格变化的 EEG 域适应问题中,解耦表示与一致性约束可能帮助利用有标签源域和无标签目标域;这不等于心脏图像中的结果能够直接迁移。可复用的是联合训练和语义一致性思路,需改造的是时序编码、通道对应及信号转换模块。低信噪比、被试差异、通道不一致和小数据可能导致转换改变任务相关信息,或使一致性约束强化错误预测。一个可检验的小实验是在固定跨被试划分下,对比同一基线与加入一致性约束后的目标被试表现,并确保目标测试标签不参与训练;已有 EEG 相关工作尚未检索确认。
值得关注其将多对多跨模态图像转换与分割端到端结合的机制,以及域间、域内语义一致性约束的分工;具体增益与向 EEG 迁移的有效性尚未验证。
来源:OpenReview · Representation learning · openreview.net