面向临床 LLM 的多模态患者证据与生物医学知识图谱对齐

基于摘要分析。该研究针对临床问答中患者多模态证据与外部医学知识之间的联系难以追溯、难以单独检验贡献的问题，提出 MM-KG（Multimodal Knowledge Graph）：将患者观察与生物医学概念组织为分层类型化图，通过显式对齐边连接，并按问题检索供 LLM 或图神经网络使用的紧凑子图。 机制上，模态专用 harmonizers 将 EHR 文本、影像、基因组与生物样本数据转为映射至 UMLS 概念的类型化观察，再由 route-prioritized aligner 对接生物医学知识图谱。其关键设计是区分患者证据、外部知识及两者之间的连接，使检索路径能够追溯，并可通过删除关系检验其贡献；摘要未提供具体映射规则、训练目标或检索实现。 作者在 MIMIC-IV 和 ADNI 上构建 MM-KG，并采用 2×2 设计区分患者证据、医学知识及其交互。作者报告，在必须结合两类来源的问题上，单一来源表现均未明显高于随机水平，而联合使用产生的 drug-controlled AUROC 交互值在 MIMIC 为 +0.194、在 ADNI 为 +0.299；这些数值是交互效应，不应当作总体 AUROC 或准确率提升。 在留出评估的五候选排序任务中，作者报告 MM-KG 相对 MindMap 的 Hits@1 提高 +0.131，并在需要查阅患者信息的题目上优于适配后的 GraphCare；删除检索内容中唯一承载答案的关系后，Hits@1 回到无知识基线。摘要未明确上述排序结果分别对应哪个数据集。作者还报告，问题条件化检索达到 0.731 AUROC，相对最强通用策略使用少 6.8 倍的上下文；该项比较的具体任务及上下文计量方式尚未验证。 作者据此认为，知识图谱的价值主要在于显式连接患者证据与问题所需关系，而非充当静态背景；作者报告静态图谱上下文在普通结局预测中未带来一致增益。仍需核对问题构造、数据划分、drug-controlled 的定义、基线适配、关系删除流程及统计不确定性，实验协议、消融及统计信息尚未验证。摘要未提供代码、图谱构建资源或完整复现配置，也不能据此推断 EEG/BCI 效果。