面向医疗基础模型的结构化数据表征学习

该研究针对 LLMs 难以有效表征 ICD-10、SNOMED-CT 等字母数字医疗代码的问题，提出 UniStruct，将适配结构化医疗代码的子词分词方法用于联合处理非结构化文本与结构化数据的医疗基础模型。基于摘要分析，研究对象是医疗记录及以患者为中心的表征，而非 EEG 信号或 BCI 解码。 核心机制是调整结构化医疗代码的分词方式，以缓解通用分词方法对这类非文本数据的表征局限。作者在内部医疗数据库和公开结构化医疗记录资源上进行预训练验证；摘要未给出具体词表构建规则、文本与代码的融合方式、训练目标或模型规模。 作者报告，在内部医疗数据库上使用超过 10 亿 tokens 训练后，模型在评估指标上最多提升 23%，其中约 2% 的增益归因于所提出的分词方法；但摘要未说明具体指标、对照基线及这些百分数的计算口径，不能解读为百分点提升。作者还报告，在 EHRSHOT 公开基准上，使用相当于上述预训练数据量 1/1000 的数据进行预训练时，UniStruct 在超过 42% 的下游任务上获得性能改善；这表示获得改善的任务比例，并非性能提升了 42%。任务清单、数据划分、改善幅度与统计不确定性尚未验证。 复现与阅读重点是核对分词改动相对其他架构或训练因素的独立贡献，以及内部数据实验与 EHRSHOT 实验各自的评估协议、消融和统计信息。内部数据库的可访问性、公开实现及权重条件尚未验证。该机制依赖离散医疗代码的编码结构，摘要未建立其与连续 EEG 信号表征之间的具体对应关系，因此不据此提出 BCI 迁移结论；相关 EEG 工作尚未检索确认。