跳到正文
OpenReview · Representation learning· Andrey Sakhovskiy; Natalia Semenova; Artur Kadurin; Elena Tutubalina·· 2023-01-01精选AI 评分74

图增强生物医学实体表示 Transformer

Graph-Enriched Biomedical Entity Representation Transformer

AI 导读

基于摘要分析。该研究面向医学概念归一化(medical concept normalization,MCN),提出 Graph-Enriched Biomedical Entity Representation Transformer(GEBERT),将 UMLS 中的概念关系图与语言模型的文本表示结合,以补充仅依赖同义概念名称进行对比学习时未充分利用的结构信息。 机制上,GEBERT 使用图神经网络提取概念节点及其局部邻域的关系信息,探索的图架构包括 GraphSAGE 和 GAT。模型引入额外的图节点级对比目标,并通过概念节点表示与语言模型生成的同一概念文本嵌入之间的对比目标,促进文本与结构两种模态的知识共享。摘要未给出具体损失公式、负样本构造、邻域采样或训练阶段安排,这些细节尚未验证。 作者报告,在经过任务特定监督后,GEBERT 在五个英文 MCN 数据集上达到当时最先进的结果。摘要未提供数据集名称、评价指标、具体分数、划分方式及对照结果,因此尚不能判断增益幅度及其适用范围;实验协议、消融及统计信息尚未验证。 研究的主要对象是生物医学术语实体及知识图谱,而非 EEG 或 BCI 信号。其贡献应理解为知识图谱增强的医学文本表示方法,不能据此推断神经信号解码效果。复现时需核对 UMLS 版本与关系选择、文本编码器、图与文本对齐策略,以及任务监督和评估划分;摘要未提供代码与完整复现条件。

阅读价值

值得核对 GEBERT 如何通过节点级对比目标对齐 UMLS 图结构与实体文本表示,以及这种对齐对医学概念归一化的增益;摘要中的领先结果仍需结合完整评估协议验证。

来源:OpenReview · Representation learning · openreview.net