面向医学图像诊断的冻结多模态大语言模型上下文空间适应

基于摘要分析。本文研究医学图像视觉分布和诊断任务异质性导致的 MLLM 性能下降，提出 Clinician Mimetic Workflow：通过构建数据集特定的视觉与经验上下文状态，使冻结 MLLM 在不更新预训练参数的情况下适应诊断任务。主要研究对象是医学图像诊断，而非 EEG 解码或 BCI。 框架包含两个协同过程。Discriminative Exemplar Coreset Selection（DECS）在冻结 DINOv2 特征空间中组织代表性诊断病例，并细化自适应检索键，以构建视觉上下文状态；Self-Refined Experience Summarization（SRES）从多样化推理轨迹中提炼可复用诊断经验，通过自适应经验状态更新维护经验上下文。推理时，两类信息共同进入多模态上下文。其机制重点是调整模型可见的病例与经验，而非对每个目标数据集反复微调模型；摘要未说明检索键优化、经验更新的具体规则及其监督来源。 作者报告，在部分公开 MedMNIST 2D 数据集及一个私有鼻咽癌 MRI 数据集上，该方法相较代表性的无梯度 in-context learning 方法获得一致改进，并在真实临床数据上取得有竞争力的诊断表现。摘要未提供具体数据子集、样本规模、划分、基线名称或指标数值，因而无法量化收益，也不能将其视为临床部署有效性的验证。实验协议、消融及统计信息尚未验证；复现需进一步核对基础 MLLM、病例库构建、上下文预算、推理成本，以及检索与经验更新所使用的数据边界。 平台推测（待验证）：若将 EEG 转为时频图，并提供带标签的代表性样本与任务知识，两类上下文构建可能用于探索冻结多模态模型的运动想象分类适应。可复用的是样本检索和经验整理流程，需改造的是信号表示及诊断语义；自然图像特征未必保留 EEG 判别信息，低信噪比、跨被试差异和通道配置变化均可能使该路径失败。可在固定 Cross-subject 划分下，仅用训练被试构建上下文，比较无上下文、仅示例检索及示例加经验三种设置。此假设不代表已证实的 BCI 效果，相关 EEG 工作尚未检索确认。