临床 EEG 基础模型基准评估的负对照协议:数据集身份与外部队列压力测试
A Negative-Control Protocol for Clinical EEG Foundation-Model Benchmarks: Dataset Identity and External-Cohort Stress Testing
基于摘要分析。研究关注临床 EEG 基础模型的性能收益是否依赖队列、导联配置或探针设计,通过外部队列测试与表征负对照,提出涵盖导联匹配、患者重叠核查、强化基线和表征控制的报告协议。 作者评估了五个模型,覆盖四个基准数据集及韩国 CAUEEG 的五项任务;存在被试标识时采用被试不重叠验证。CAUEEG 主分析为记录级评估,另提供带无重叠标注的留出子集敏感性分析,不应将其主分析视为已确认的被试独立协议。 在匹配的 CAUEEG 正常/轻度认知障碍/痴呆分类中,共涉及 1,187 条记录。作者报告传统特征的 macro-AUROC 为 0.734,增强版敏感性分析为 0.736;BIOT-bipolar16、CBraMod、REVE 分别为 0.677、0.669、0.568。无重叠标注留出子集中,传统特征与 REVE 分别为 0.717 和 0.565,排序保持一致。匹配的完全随机初始化编码器在另一项描述性比较中高于预训练 REVE(0.667 对 0.570);正确与打乱源标签的 LoRA 实验在非匹配敏感性分析中数值接近,但这些结果不是标签效应估计或等效性检验。 作者报告,五个编码器在折内 PCA-50 处理前后,数据集身份解码指标均为 1.000;标签置换后降至机会水平,平衡子样本仍为 1.000。这支持表征含有数据集成员信息,但不能据此认定站点、地域或人群差异的因果作用。 在 CHB-MIT 跨被试发作期检测中,作者报告 REVE 的 AUROC 为 0.793,最佳受测增强非线性对照为 0.739,完全随机初始化为 0.691,原始信号随机特征为 0.505。REVE 相对增强对照的配对差为 +5.38 个百分点,95% CI 为 -0.36 至 +11.22,尚不能确认其优越性;保留的归一化输入也无法重建幅度感知对照。全文实验协议、消融及统计细节尚未验证,复现时需重点核对患者重叠、导联匹配、预处理保留信息及对照匹配条件。
该研究以数据集身份解码、随机初始化与外部队列压力测试检验 EEG 基础模型的收益来源,值得用于核对临床 EEG 评估协议,但摘要中的描述性对照尚不能确证预训练或标签的因果作用。
来源:arXiv · EEG DA / DG / TTA · arxiv.org