ProgMF:面向不完整生物医学数据的渐进式多模态表征学习
ProgMF: Progressive Multimodal Representation Learning for Incomplete Biomedical Data
基于摘要分析。研究针对阿尔茨海默病(AD)神经影像中不同模态覆盖不均、完整模态被试有限的问题,提出 Progressive Multimodal Fusion(ProgMF):先从模态较少但规模较大的队列学习表征,再随模态增加逐步迁移与细化,从而利用部分观测被试而不插补缺失观测。 机制上,研究以 independent vector analysis(IVA,独立向量分析)为试验载体,在每个阶段独立学习联合表征,并以前一阶段的表征作为锚点指导后续细化,使知识迁移与新增模态依赖关系的适应能够结合。其关键区别不是重建缺失数据,而是将早期阶段学到的表征传递到后续融合阶段;锚定约束的具体形式、阶段构建及优化流程尚未验证。 作者报告,在涉及四种模态的受控仿真中,ProgMF 的潜在源恢复误差低于完整模态融合与基于插补的对照方法;受控消融支持仅在早期阶段可用的被试对结果有贡献。在 Alzheimer's Disease Neuroimaging Initiative(ADNI)数据集的认知正常与痴呆分类中,作者报告 Accuracy 和 F1 高于所评估的基线,并将其视为对留出被试泛化改善的初步证据。摘要未提供具体数值、模态组成、样本规模及划分细节,实验协议、消融及统计信息尚未验证。 该研究的主要对象是 AD 多模态神经影像,而非 BCI 解码。平台推测(待验证):若 EEG 与其他模态存在分层覆盖且各阶段有可对应的被试,表征锚定可能用于利用不完整配对数据;可复用的是渐进迁移思路,需改造的是 EEG 特征提取、跨模态对齐和锚定约束。低信噪比、通道差异及跨被试分布偏移可能使早期表征误差被传递,小数据也可能使后续细化不稳定。可在固定被试划分和缺失模式下,对比完整配对训练、插补及渐进锚定,并通过移除早期阶段独有被试检验收益来源。此为迁移假设,已有 EEG 相关工作尚未检索确认。
值得关注其以分阶段表征锚定利用模态不完整被试、避免缺失观测重建的机制;摘要报告了仿真、消融和 ADNI 分类结果,但收益幅度与具体评估协议尚待全文核对。
来源:OpenReview · Representation learning · openreview.net