面向脑部 MRI 的 LoRA 适配视觉基础模型:性能趋同,机制分化
Convergent Performance, Divergent Mechanisms in LoRA-Adapted Vision Foundation Models for Brain MRI
基于摘要分析。本文研究脑部 MRI 中视觉基础模型经 LoRA 适配后,下游性能相近是否意味着内部表征变化也相近,并探索机制分析能否指导更高效、较少损害跨任务能力的适配策略。研究对象是脑肿瘤分割与 Alzheimer's disease 分类,不是 EEG 解码或 BCI 控制。 作者比较了四个 ViT-B/16 骨干:DINOv3、SigLIP2、MerMED-FM 和 BiomedCLIP,其预训练目标涉及自蒸馏与对比式视觉—语言学习,数据领域涉及自然图像与医学图像。各模型先适配脑肿瘤分割,再在涵盖分割和 Alzheimer's disease 分类的六个数据集上评估;机制分析结合 attention divergence、权重变化分析与 activation patching。 作者报告,在上述脑肿瘤分割评估中,四个模型的平均 Dice 处于 78–81% 区间,但内部适配动态明显不同;分割适配提升了 DINOv3 的 Alzheimer's disease 分类表现,却降低了其余三个骨干的分类表现。摘要未提供数据集名称、划分及各项结果的详细聚合方式,因此不能据此比较不同数据集或协议下的优劣。 作者报告,修改幅度最大的层并不等同于对任务具有关键因果贡献的层,早期至中间层的修改足以恢复分割能力。将 LoRA 限制在这些层,可达到或接近全层适配的分割表现,同时减轻另外三个骨干的分类退化。其方法价值在于以干预证据辅助选择适配位置,而非仅按权重变化大小或单一下游指标选择骨干。LoRA 配置、activation patching 的干预方式、参数节省幅度、实验协议、消融及统计信息尚未验证;摘要也未提供可核对的代码信息。 平台推测(待验证):这种机制引导的层选择可作为 EEG 基础模型适配的研究假设,但 MRI 结果不构成 EEG/BCI 有效性的证据。可复用的是层级干预与受限 LoRA 的比较框架,需改造输入表征、任务头及干预基准;低信噪比、跨被试差异、通道配置变化和小数据可能使层重要性不稳定。一个小规模可证伪实验是在固定 Cross-subject 划分下,对比全层 LoRA 与仅使用训练数据确定的层子集 LoRA,同时考察目标任务及保留任务表现。相关 EEG 工作尚未检索确认。
值得关注其通过 activation patching 区分参数修改幅度与任务因果贡献,并据此选择 LoRA 适配层的机制分析;其分割与跨任务迁移收益仍需结合全文协议核对。
来源:arXiv · 在线与高效推理 · arxiv.org