超越从零训练:用于数据高效且可泛化的心脏 MRI 重建的基础模型
Beyond Training from Scratch: Foundation Models for Data-Efficient and Generalizable Cardiac MRI Reconstruction
基于摘要分析。该研究针对欠采样心脏 MRI 重建在任务数据不足与分布偏移下的性能问题,将预训练视觉基础模型表征引入基于 transformer 的重建架构,考察其作为重建先验的数据效率与泛化能力。 方法涵盖 CLIP、BiomedCLIP 和 DINOv2 视觉编码器,比较冻结表征与参数高效适配,并使用 Low-Rank Adaptation(LoRA)。摘要未披露编码器表征如何与重建模块交互、采样数据的表示方式、数据一致性约束、损失函数及训练细节,这些机制尚需全文核对。 作者报告,在 CMRxRecon2023 和 CMRxRecon2024 基准的多个加速因子下,预训练表征持续优于从零训练的 transformer;在有限监督和跨数据集迁移评估中,也表现出更好的数据效率与泛化。作者报告,冻结表征在极低数据量条件下尤其有效,LoRA 在中等训练数据量下带来额外收益,DINOv2 在所评估骨干中总体表现最强。摘要未提供具体指标、数值、加速因子、样本规模、划分及迁移方向,实验协议、消融及统计信息尚未验证,不能据此量化优势或比较不同协议。 平台推测(待验证):可借鉴的是“冻结预训练表征与低秩适配按数据规模选择”的策略,而非直接认定视觉编码器适用于 EEG。原任务依赖欠采样 MRI 与参考图像的重建关系;迁移至 EEG 需改造输入表示、编码器接口与任务输出,视觉先验也可能因 EEG 低信噪比、跨被试差异、通道配置变化及小数据条件失效。可在固定跨被试划分、相同下游模型与训练预算下,对比从零训练、冻结表征和 LoRA,并改变训练数据比例,检验预训练收益及其稳定性。相关 EEG 工作尚未检索确认。
值得核对冻结预训练视觉表征与 LoRA 在不同数据规模下的收益及跨数据集迁移协议,以评估基础模型先验能否改善重建任务的数据效率;其对 EEG/BCI 的适用性尚未验证。
来源:arXiv · 泛化与分布偏移 · arxiv.org