DERI:基于深度 ECG–报告交互的跨模态 ECG 表征学习
DERI: Cross-Modal ECG Representation Learning with Deep ECG-Report Interaction
该研究面向 ECG 心脏疾病分类中自监督表征难以充分捕获临床语义的问题,提出跨模态框架 DERI,利用 ECG 与临床报告的深度交互学习包含临床语义的信号表征,并将其扩展至报告生成。基于摘要分析,未取得论文全文。 方法结合多重对齐与相互特征重建,使 ECG 表征融合报告中的临床语义;另设计受掩码建模启发的 RME-Module,以改善 ECG 表征学习。摘要未展开具体对齐层级、重建目标、掩码策略及损失形式,这些机制尚待正文核对。研究还引入语言模型进行报告生成,作者将其作为评估表征临床语义及探索临床应用的途径;生成质量是否对应可靠的临床语义仍需结合评估协议判断。 作者报告在多个数据集、不同设置下取得更优表现,但摘要未提供数据集名称、样本规模、划分方式、对照方法、具体指标与数值,无法据此判断收益大小及泛化范围。实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,训练配置、数据可得性与复现条件仍需核对。 平台推测(待验证):其“信号—报告对齐与相互重建”机制可能适用于具有配对临床报告的 EEG 表征学习,但原研究对象是 ECG,并非 BCI。迁移依赖可靠配对的 EEG 与文本监督,数据规模要求尚未验证;可考察复用跨模态训练目标,但需改造信号编码、通道处理及掩码策略。低信噪比、跨被试差异、通道配置变化和小规模配对数据可能削弱收益,报告也未必包含 BCI 任务所需语义。一个可证伪的小实验是在固定跨被试划分和相同编码器下,对比信号自监督、加入文本对齐、再加入相互重建的方案,检验文本交互是否带来稳定增益。已有 EEG 相关工作尚未检索确认。
值得核对 DERI 如何通过多重对齐与相互特征重建将临床报告语义融入 ECG 表征,以及报告生成能否提供超出分类性能的语义评估证据;其对 EEG/BCI 的适用性尚未验证。
来源:OpenReview · Representation learning · openreview.net