跳到正文
OpenReview · Representation learning·· 2026-05-21精选AI 评分74

SARL-ICD:用于自动 ICD 编码的结构感知对比表征学习与 LLM 增强标签描述

SARL-ICD: Structure-aware Contrastive Representation Learning with LLM-augmented Label Descriptions for Automatic ICD Coding

AI 导读

基于摘要分析。研究面向自动 ICD 编码这一极端多标签分类任务,目标是从临床文本中分配标准化诊断编码。SARL-ICD 通过结构感知对比预训练与标签—文本语义交互,尝试减少模型对出院小结中重复半结构化模式的依赖,并更充分地利用 ICD 编码描述。 核心机制包括三部分:其一,JMoCo 是由 Jaccard 相似度引导的 MoCo 风格预训练策略,依据 ICD 编码相似性构造正样本对,并将预训练文本限制在包含临床信息的叙述性章节,以促进患者特异临床语义的学习。其二,轻量标签—文本交互模块将 LLM 增强的 ICD 编码描述语义注入文档表征,作者将其描述为不依赖特定架构的模块。其三,轻量 MoE 融合模块用于结合不同 ICD 编码架构的互补优势。具体损失、正样本选择阈值、LLM 增强流程及融合训练方式尚未验证。 作者报告,在 MIMIC-III-full 和 MIMIC-IV 上,该方法在多项评估指标中达到最先进表现;但摘要未提供具体指标数值、数据划分与对照基线,无法核对优势幅度。作者还报告,附加分析显示 JMoCo 改善了表征相似性对齐,并减少半结构化临床文档中的结构捷径学习。实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是利用任务标签关系约束对比学习,而非直接迁移 ICD 编码系统。对应 EEG 中的潜在问题是表征被非任务因素主导,但 ICD 多标签集合的 Jaccard 相似度不能直接套用于普通单标签 EEG 分类。可复用对比学习框架,需重新定义正样本关系、信号编码器及标签描述交互;低信噪比、跨被试差异、通道配置变化与小数据可能使标签相似性不足以约束有效表征。一个可证伪的小实验是在固定跨被试划分和同一 EEG 编码器下,对比常规对比学习与标签关系引导的正样本构造,核对任务表现及被试身份可预测性。相关 EEG 工作尚未检索确认。

阅读价值

值得阅读的是利用标签集合相似度引导对比预训练、限制半结构化文本中的结构捷径,并结合标签描述语义的具体机制;其优势目前仅有摘要层面的作者报告,尚不能据此认定对 EEG/BCI 有效。

来源:OpenReview · Representation learning · openreview.net