用于医学视觉问答的双层表征学习模型

基于摘要分析。研究面向医学视觉问答（medical VQA），针对数据量较小条件下的细粒度图像—文本语义融合及答案标签长尾分布问题，提出双层表征学习模型，并结合 label-distribution-smooth margin loss 改善答案预测。 模型包含两个推理模块：句子级推理从多模态输入中学习句子级语义表征；token 级推理通过注意力机制融合图像特征与词嵌入，生成多模态上下文向量，再用该向量筛除句子级推理中的无关语义，形成细粒度多模态表征。这里的“双层”指两种语义粒度，不宜理解为双层优化。针对长尾标签，作者提出通过调整训练集中不同标签的间隔边界来降低泛化误差界；具体损失公式及理论条件尚未验证。 作者报告，在 VQA-Rad 和 PathVQA 上，Accuracy 分别为 0.7605、0.5434，F1-score 分别为 0.7741、0.5288，并优于所比较的一组先进基线。摘要未提供数据划分、基线名称、F1 平均方式及重复实验设置，因此这些数值仅能作为对应数据集上的作者报告；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：其潜在可复用部分是多粒度语义筛选与标签分布相关的间隔调整，而非医学图像编码器本身。若用于带文本提示和长尾类别的 EEG 分类，需将图像特征替换为 EEG 表征，并重新定义信号片段与文本 token 的对应关系；低信噪比、跨被试差异及小数据可能导致注意力选择不稳定。一个可证伪的小实验是假设在固定 Cross-subject 划分、相同 EEG 编码器与训练预算下，对比基础融合、加入上下文筛选、加入该损失及两者组合，以 Balanced Accuracy 和宏平均 F1 检验收益。此设想不属于论文已验证结果，相关 EEG 工作尚未检索确认。