量化癫痫发作检测的泛化差距:基于 SzCORE Challenge 的大规模实证基准评估
Quantifying the Generalization Gap in Seizure Detection: A Large-Scale Empirical Benchmark via the SzCORE Challenge
基于摘要分析。该研究针对自动癫痫发作检测在未见患者及不同临床环境中泛化不足的问题,通过 SzCORE Challenge 收集并评估 28 种算法架构,建立以长时程连续 EEG、严格留出数据和事件级指标为核心的实证基准。其主要对象是临床 EEG 癫痫发作检测,而非 BCI 控制任务。 评估涵盖从经典特征工程到深度学习的算法,使用包含 65 名被试、总计 4,360 小时连续 EEG 的严格留出私有数据集,由专业神经生理学人员标注发作事件作为参考真值。研究采用 SzCORE 框架的事件级 sensitivity、precision、F1-score 和每日假阳性率;这些指标衡量发作事件检测,不能直接与片段分类 Accuracy 比较。训练数据构成、患者与临床中心的划分关系、事件匹配规则及检测阈值尚未验证,因此不能将该评估进一步认定为已验证的 Cross-dataset 或跨临床中心协议。 作者报告,在上述留出数据与事件级评估下,最高 F1 为 32%,对应 sensitivity 为 37%、precision 为 29%。作者还报告,总体 F1 最高的算法并非在各被试上排名最稳定的算法,表明汇总性能与被试间稳定性需要分别考察;自报效果与留出评估效果之间也存在差距。摘要未提供每日假阳性率的具体结果。作者称最佳算法优于此前挑战及商业系统,但比较对象、协议可比性及统计信息尚未验证。 研究还提出将评估基础设施转为持续开放的基准平台,支持后续提交、纳入更多私有数据集,以及临床中心使用自身 EEG 进行标准化评估。复现与使用前需核对算法实现及训练条件、私有数据访问或评测提交方式、SzCORE 配置和被试级结果。全文、实验协议细节、消融及统计信息尚未验证,当前结果不能直接作为临床可用性的证据。
该研究以严格留出的长时程 EEG 私有数据和事件级指标检验癫痫发作检测的泛化,并揭示总体 F1 与被试间稳定性可能不一致,值得用于审视检测算法的评估协议与临床部署风险。
来源:OpenReview · EEG · openreview.net