GRAM:用于医疗健康表示学习的基于图的注意力模型
GRAM: Graph-based Attention Model for Healthcare Representation Learning
基于摘要分析。研究针对电子健康记录(EHR)预测中的样本不足与表示可解释性问题,提出 GRaph-based Attention Model(GRAM),将医学本体的层级知识引入医疗概念表示学习;主要研究对象是诊断与心力衰竭预测,而非 EEG 或 BCI。 核心机制是通过注意力机制,将医学概念表示为其本体中祖先概念的组合,并依据数据量及本体结构调整组合。作者报告,在底层概念数据不足时,模型会自适应地向更高层概念泛化。这使稀有概念能够借助层级知识共享信息,且表示学习具有可与医学知识对照的结构依据;摘要未提供具体损失、网络配置及训练细节。 评估包括两项序列诊断预测任务和一项心力衰竭预测任务,对照包含基础 RNN 等方法。作者报告,相比基础 RNN,GRAM 对训练数据中罕见疾病的预测准确率高出 10%;在心力衰竭预测中,使用少一个数量级的训练数据,ROC 曲线下面积提高 3%。摘要未明确这些百分比是相对增幅还是绝对差值,不能改写为百分点。作者还报告,学到的概念表示与医学本体较好对齐,注意力行为具有直观解释。具体数据集、样本规模、划分、基线配置、消融及统计信息尚未验证。 平台推测(待验证):可迁移的机制是“借助可信层级先验共享稀有类别信息”,而非直接复用医疗预测任务。假设 EEG 任务存在预先定义、具有生理依据的类别层级,可保留祖先概念注意力模块,改造信号编码与预测输出;但原研究依赖离散医疗概念及医学本体,不能直接等同于连续 EEG。低信噪比、跨被试差异、通道变化及小数据可能使层级先验失效或造成负迁移。一个可检验的小实验是在固定跨被试划分下,对同一 EEG 编码器比较有无层级注意力,并核对稀有类别表现;已有 EEG 相关工作尚未检索确认。
值得关注的是 GRAM 利用医学本体层级在稀有概念与上位概念之间进行自适应表示共享,为核对小样本预测与知识一致性之间的关系提供了具体机制,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net