用于临床诊断、统一处理多模态输入的基于 Transformer 的表征学习模型

基于摘要分析。该研究面向临床辅助诊断中影像、主诉、病史与检验结果难以统一利用的问题，提出基于 Transformer 的表征学习模型，通过统一的 token 表征与注意力机制融合多模态信息。主要研究对象是肺部疾病识别及 COVID-19 患者不良临床结局预测，并非 EEG 解码或 BCI。 机制上，模型通过嵌入层将影像、非结构化文本及结构化文本转换为视觉 token 和文本 token，再利用包含模态内与模态间注意力的双向模块学习整体表征。输入涵盖放射影像、主诉、临床病史、实验室检验结果及人口统计信息。其关键比较点是统一融合机制相对于仅使用影像、以及非统一多模态诊断模型的作用；具体编码结构、损失函数、训练流程与缺失模态处理方式尚未验证。 作者报告，在肺部疾病识别任务中，统一模型相对于仅影像模型和非统一多模态模型分别提升 12% 和 9%；在 COVID-19 患者不良临床结局预测中，分别提升 29% 和 7%。摘要未说明这些百分比对应的指标及计算口径，不能解释为 Accuracy 提升或百分点变化，也不能跨任务直接比较。数据集、样本量、数据划分、对照实现、消融及统计信息尚未验证；摘要亦不足以确认临床部署效益。 平台推测（待验证）：统一 token 与跨模态注意力可作为 EEG 联合临床文本或结构化变量建模的候选机制，但需将影像嵌入改造为适配 EEG 时序与通道结构的编码，并明确不同模态的配对、时间对齐与监督条件。低信噪比、跨被试差异、通道变化及小数据规模可能削弱融合收益。可检验的小实验是在固定跨被试划分与相同监督条件下，比较 EEG 单模态、后期融合及统一注意力融合，并通过屏蔽辅助模态检查增益来源。此为迁移假设，不是本文已验证的 BCI 效果；已有 EEG 相关工作尚未检索确认。