跳到正文
OpenReview · Representation learning·· 21 天前精选AI 评分72

用于检测与解释的统一表征:通过信号、图像与临床文本进行语言锚定的统一 ECG 表征学习

One Representation for Detection and Interpretation: Language-anchored Unified ECG Representation Learning via Signal, Image, and Clinical Text

AI 导读

基于摘要分析。该研究针对 ECG 与文本对齐方法难以同时支持心血管疾病检测和解释的问题,提出 LaUER(Language-anchored Unified ECG Representation Learning),结合 ECG 信号、ECG 图像及临床文本,学习服务于两类任务的统一表征。 核心机制是引入 ECG 图像补充信号,并以临床文本为锚点,在语言空间中开展多粒度多模态预训练。摘要列出语义粒度、概念粒度和 token 粒度三类学习,通过渐进引导获得兼具检测与解释能力的表征。具体模态编码方式、粒度定义、损失函数、训练顺序及推理时所需输入尚未验证。这里的“解释”主要通过报告生成任务评估,不能据此等同于已验证的临床解释可靠性。 作者报告,在三个 ECG 基准数据集上开展线性探测、零样本分类和报告生成评估;相较所选 SOTA 方法,LaUER 在线性探测与零样本分类上表现更优,报告生成性能接近 SOTA,且成本显著更低。摘要未提供数据集名称、划分协议、指标数值、基线配置或成本定义,因此尚不能量化优势或判断其跨患者、跨数据集泛化能力。实验协议、消融及统计信息尚未验证,复现还需核对信号—图像—文本的配对方式、临床文本来源及代码与模型可用性。 平台推测(待验证):其可供 EEG 研究借鉴的是用多粒度文本监督连接识别任务与描述任务,而非直接迁移 ECG 诊断结论。该路径依赖可信的生理信号与文本配对,以及可定义的临床概念;迁移时需改造信号编码、图像表示与概念词表。EEG 的低信噪比、跨被试及通道差异,以及小数据下文本监督不足,均可能削弱收益。一个可检验的小实验是在固定跨被试划分和相同训练预算下,对比信号—文本对齐与加入图像、多粒度文本引导的方案,分别评估分类表现与描述一致性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 LaUER 的多粒度临床文本引导能否让同一 ECG 表征兼顾疾病检测与报告生成,尤其是其报告生成成本优势的计算口径及各模态的实际贡献。

来源:OpenReview · Representation learning · openreview.net