用于高标签效率病理检测的 EEG-Language 预训练
EEG-Language Pretraining for Highly Label-Efficient Pathology Detection
基于摘要分析。该研究面向临床 EEG 病理检测,探索临床报告与 EEG 联合预训练能否改善表征并降低下游标注需求。作者使用临床报告与 15000 份 EEG 训练 EEG-language models(ELMs),结合多模态对齐、时间序列裁剪与文本分段,并引入多实例学习以缓解无关 EEG 片段或文本片段造成的对齐问题。 核心机制是利用临床文本为 EEG 表征提供多模态信息。报告片段涵盖患者临床史、EEG 描述及医生解读;时间序列裁剪和文本分段支持片段级处理,多实例学习扩展则用于缓解片段之间的不相关匹配。具体编码器结构、对齐损失、多实例聚合方式及训练设置尚未验证。 作者报告,相比仅接触较窄范围临床文本的模型,使用更丰富报告片段的模型在根据报告检索 EEG 及根据 EEG 检索报告时具有更高 Accuracy。作者还报告,在少标注条件下,ELMs 在零样本分类和线性探测评估中可改善相对于 EEG-only 模型的病理检测表现,多实例学习进一步提升各项任务表现。摘要未提供具体分数、病理类别、数据划分或统计检验信息,因此这些结果不能用于定量比较不同方案。 该工作直接研究 EEG 与临床文本联合建模,但研究目标是临床病理检测,并非 BCI 控制或运动想象解码。复现与判断泛化能力时,需要核对 EEG 和报告的配对规则、被试及记录的划分单位、文本预处理、零样本分类定义、线性探测的标注预算与 EEG-only 对照设置。实验协议、消融及统计信息尚未验证;对其他 EEG 任务或 BCI 场景的有效性也尚未验证。
值得阅读的具体原因是其将临床报告与 EEG 联合预训练,并以多实例学习处理片段间的不相关匹配,作者报告的少标注病理检测收益值得结合完整评估协议核对。
来源:OpenReview · EEG · openreview.net