跳到正文
arXiv · 多模态与生成机制· Antonio Scardace; Silvia Ingala; Sebastiano Battiato; Daniele Ravì·· 2 天前精选AI 评分75

用于脑 MRI 时空预测的多模态条件潜在扩散模型

Multimodal-Conditioned Latent Diffusion Models for Spatiotemporal Brain MRI Forecasting

AI 导读

基于摘要分析。研究面向阿尔茨海默病(AD)进展中的三维脑解剖变化预测,提出 Multimodal-Conditioned Latent Diffusion Model(MC-LDM),利用训练期的多模态生物标志物监督生成患者特异性的未来脑 MRI,同时减少推理时对额外检查的依赖。 方法以 Latent Diffusion Model(LDM)为基础,通过 Low-Rank Adaptation(LoRA)微调以支持数据高效学习。训练使用 MRI、tau-PET、Clinical Dementia Rating(CDR)及 APOE4;推理仅依赖基线 MRI、APOE4 和患者元数据。辅助预测器从 MRI 特征及患者协变量估计未观测的多模态生物标志物,再用于扩散模型条件控制,核心思路是将分子与临床信息引入疾病轨迹建模,而非要求部署时获取全部训练模态。预测器的具体结构、训练目标及与扩散模型的联合方式尚未验证。 作者报告,模型使用 Alzheimer's Disease Neuroimaging Initiative(ADNI)中 852 名被试的 1,355 次访视训练,在含 664 次访视的独立测试集上,平均区域体积 MAE 相比表现次优的基线降低 18%。这一结果针对区域体积误差,不能直接等同于图像保真度、个体病程预测可靠性或临床效用。测试集被试数、训练与测试的被试隔离方式、预测时间跨度、基线配置、消融及统计信息尚未验证。作者称这是首个利用多模态先验进行 MRI 预测的扩散框架,该优先性声明尚未独立核实。 该研究的主要对象是 AD 结构性脑 MRI 预测,不是 EEG 解码或 BCI 算法。材料不足以建立具体的 EEG/BCI 迁移路径,因此不将其结果外推为神经信号任务的性能证据。摘要提供了代码仓库,但实现完整性、数据预处理与复现条件尚未核验。

阅读价值

值得核对其通过辅助预测器衔接训练期丰富多模态监督与推理期有限输入的机制,以及该机制对独立测试集区域体积预测误差的实际贡献;摘要结果不构成 BCI 有效性或临床部署证据。

来源:arXiv · 多模态与生成机制 · arxiv.org