跳到正文
OpenReview · Representation learning·· 29 天前精选AI 评分78

GestaltCLIP:通过异构表型监督进行概念增强的临床结构化面部表征学习

GestaltCLIP: Concept-Enhanced Learning of Clinically Structured Facial Representation from Heterogeneous Phenotype Supervision

AI 导读

基于摘要分析。GestaltCLIP 针对罕见遗传病面部表征学习中数据量小、图像级表型标注稀缺且监督碎片化的问题,提出概念增强的视觉—语言框架,将临床表型概念组织进面部表征,无需完整的图像—表型配对。 方法整合 Human Phenotype Ontology(HPO)概念、患者表型集合及疾病级表型知识三层监督,包含本体感知的 HPO 学习、表型集合建模、直接图像—表型对齐,以及以疾病为中介的弱监督。其核心思路是利用不同粒度的表型知识补充稀缺的直接配对监督;训练后的视觉编码器在推理时仅需图像。摘要未披露具体损失形式、各监督信号的组合方式或模型结构细节。 作者报告,在 GestaltMatcher Database 的疾病识别评估中,四项疾病识别指标均改善,平均相对提升为 15.58%;原子级图像到 HPO 检索的 mean average precision(mAP)提升被表述为 7.73 倍。摘要未给出这四项指标的名称、对应基线及划分细节。作者报告,在其所称的严格 RDFace 外部评估中,Top-1 Accuracy 从 8.93% 提升至 15.18%。这些结果分别涉及疾病识别、表型概念检索和外部数据集识别,不宜相互替代解读。 阅读全文时需核对异构监督的构建与覆盖范围、疾病及患者层面的数据划分、外部评估约束,以及各模块对结果的贡献。实验协议、消融及统计信息尚未验证,代码与复现条件也尚未确认。本文的主要研究对象是罕见病面部图像及临床表型知识,摘要未提供神经信号实验或明确的 EEG/BCI 机制对应关系,因此不据此生成迁移结论。

阅读价值

值得关注其在缺少完整图像—表型配对时整合多层级监督的机制,以及概念检索与外部疾病识别两类评估,但摘要证据仅支持罕见病面部表征任务,不支持 EEG 或 BCI 有效性。

来源:OpenReview · Representation learning · openreview.net