通过多重域干预学习可泛化的异质表征以实现跨模态图像合成
Learning to Generalize Heterogeneous Representation for Cross-Modality Image Synthesis via Multiple Domain Interventions
基于摘要分析。研究针对多模态磁共振成像中设备差异大、检查成本高及模态缺失的问题,提出基于卷积稀疏编码(CSC)的适应网络,从已有模态合成缺失模态,并改善医学图像表征的泛化能力。其主要研究对象是医学图像合成,而非 EEG 解码或 BCI。 方法分别通过域适应模块和域标准化模块降低域间与域内差异,并在 CSC 特征上惩罚子空间不匹配,以降低泛化误差;整体框架采用极小极大形式。摘要未给出子空间匹配的具体定义、损失函数、优化变量与训练流程,也未说明合成任务是否依赖配对图像、模态标签或何种数据规模,这些条件尚未验证。 作者报告,该方法在多个数据集上达到当时最优结果,但摘要未提供数据集名称、划分方式、评价指标、数值及对照方法,因此尚不能判断提升幅度及跨设备泛化范围。实验协议、消融及统计信息尚未验证,也需核对域内与域间差异的操作性定义及各模块的独立贡献。 平台推测(待验证):假设 CSC 特征的子空间约束可缓解 EEG 跨被试或跨会话的表征偏移,可考虑复用这一约束思想,而非直接迁移图像合成网络;特征提取与合成目标需改造成适合 EEG 时序、通道结构和解码任务的形式。低信噪比、通道布局变化及小数据可能使子空间估计不稳定,过强对齐也可能损害任务相关差异。一个可证伪的小实验是在固定 Cross-subject 划分与相同解码器下,对比加入和不加入子空间约束的结果,单独检验该约束是否有益。已有 EEG 相关工作尚未检索确认,原领域结果不构成 BCI 有效性的证据。
值得核对其如何以卷积稀疏编码特征的子空间匹配协同处理域间与域内差异,但摘要中的领先结果及各模块贡献尚需全文实验验证。
来源:OpenReview · Representation learning · openreview.net