跳到正文
arXiv · 学习目标与优化· Qizhen Lan; Yiling Ma; Ruiqi Chen; Mengchen Fan; Xi Xiao; Lin Zhao; Liang He; Baocheng Geng; Pulin Che; Tianyang Wang; Xiaoqian Jiang·· 3 天前精选AI 评分77

当证据消失:蒸馏医学视觉语言模型对视觉证据的依赖

When Evidence Vanishes: Distilling Visual-Evidence Dependency in Medical Vision-Language Models

AI 导读

紧凑型医学视觉语言模型(VLM)可能依靠问题措辞或已学习的先验答对临床问题,而未可靠利用图像。本文提出 Evidence-Conditioned Dependency Distillation(ECDD),不仅蒸馏教师的答案偏好,还蒸馏相关视觉证据消失时正确答案支持度应如何下降。以下基于摘要分析,未取得论文全文。 其核心机制是将每张训练图像与按证据层级匹配的控制样本配对,蒸馏教师在配对样本之间的答案间隔(answer margin)下降量。下界目标仅惩罚学生对正向证据依赖传递不足的情况,同时以原图监督维持任务准确率。与仅匹配原图答案偏好的标准知识蒸馏相比,ECDD 显式约束答案偏好是否依赖问题所需的视觉证据。摘要称,该框架适用于被查询的临床区域、手术器械及整幅图像视觉内容等不同证据层级。 作者报告,在三个医学 VQA 设置中,ECDD 的原图 Accuracy 与蒸馏及对齐基线保持竞争力,同时提高了答案支持度对证据移除的敏感性。具体在摘要所称的 DME headline objective 下,针对阳性样本,目标遮挡相对随机遮挡的答案间隔响应由 KD 的 0.786 增至 ECDD 的 2.023,原图 Accuracy 相差 0.11 个百分点;摘要未说明准确率变化方向,也未完整定义 DME 及该响应指标,不能将其视为通用准确率提升。 需进一步核对控制样本生成方式、教师自身的证据依赖可靠性,以及响应变化能否排除遮挡造成的非特异性分布扰动。具体数据集、模型规模、数据划分、实验协议、消融及统计信息尚未验证。该研究对象是医学图像问答,现有材料不构成 EEG 或 BCI 有效性的证据。

阅读价值

值得关注其将“证据移除前后的答案间隔变化”作为蒸馏目标的设计,但其能否可靠区分视觉证据依赖与遮挡扰动效应,仍需核对控制样本构造及完整实验。

来源:arXiv · 学习目标与优化 · arxiv.org