面向被试级阿尔茨海默病解码的可复现性框架
基于摘要分析。该研究针对 EEG 阿尔茨海默病(AD)与对照(CN)分类中的评估可靠性问题,在 OpenNeuro ds004504 上构建可审计流程,联合考察被试身份泄漏、留出队列敏感性,以及 EEG 片段级与被试级评价目标不一致三类风险。主要贡献是将这些风险置于同一评估框架中,并展示评价粒度可能改变模型选择结论;研究对象是疾病分类,而非 BCI 控制任务。 方法上,作者比较 PCA 与单变量 T-test 特征选择,分别结合 KNN、SVM、XGBoost 和 MLP。通过比较训练集与测试集包含同一被试片段的 subject-overlap 划分,以及被试互不重叠的 subject-disjoint 划分,检验身份泄漏风险;通过反复改变留出被试队列的规模与组成,考察队列敏感性;通过比较片段级与被试级 Accuracy 的模型排序,检验评价目标不匹配。这里的 epoch 指作为单个样本处理的短 EEG 片段,不是训练轮次。 作者报告,在上述 AD 与 CN 分类评估中,被试重叠划分会抬高 Accuracy,而被试互不重叠时,结果仍可随留出队列变化;作者还报告,被试级表现最好的模型按片段级 Accuracy 排名第十。该排名反转提示,片段级最优并不必然对应被试级最优,但摘要未给出该模型身份、对应分数或排名所用的完整配置范围。 作者建议使用被试互不重叠的 LOSO(留一被试法)或 LPSO(留出 P 名被试法)划分,报告各折或队列间的标准差(SD),并同时报告片段级与被试级 Accuracy。复现时需核对特征处理与选择是否仅在训练数据内拟合、被试级预测如何聚合,以及留出队列生成规则。被试数量、预处理、超参数、具体划分、消融及统计信息尚未验证;摘要亦未提供代码可用性信息,不能据此认定完整复现条件已满足。
阅读价值:该研究将被试身份泄漏、留出队列敏感性与评估粒度不匹配纳入同一可审计流程,作者报告的模型排名反转值得在 EEG 疾病分类中核对,但其具体实验协议与统计信息尚未验证。