如何评估医疗时间序列分类?
How to evaluate your medical time series classification?
基于摘要分析。该研究关注医疗时间序列(MedTS)分类中,被试特异性特征如何影响模型评估,并通过理论分析与多数据集实验比较 subject-dependent(被试依赖)和 subject-independent(被试独立)两类设置,旨在为医疗应用中的评估协议提供更清晰的依据。 核心机制是:分类模型可能利用被试特异性特征作为预测捷径,使评估结果不能准确反映其对目标疾病或生理状态的泛化能力。作者从 MedTS 的特征组成出发,分析不同评估设置如何影响模型学习到的特征。这里的 subject-dependent 与 subject-independent 是原文的评估分类,不能在未核对具体数据划分前,直接等同于标准的 Within-subject 与 Cross-subject 协议。 作者报告,在覆盖 EEG、ECG 和 fNIRS 的六个数据集上使用四种方法进行实验,展示被试依赖设置如何利用被试特异性特征获得误导性的高性能。作者报告,不恰当的评估设置在 ADFTD 数据集上可使 Accuracy 人为虚高,摘要原文表述为“up to 50% in accuracy”;其相对增幅或百分点含义、对应划分与对照条件尚未验证,不宜将该数值外推到其他数据集。作者据此主张,被试独立设置对不同数据集和任务更合适,也更贴近实际应用;这一结论仍需结合具体部署目标核对。 对 EEG 研究的直接阅读价值在于审查模型性能是否依赖被试身份相关特征,而不是把某种划分一概视为适用于所有任务。全文需重点核对被试与样本的划分层级、任务标签与被试身份的关系、训练与测试预处理边界,以及不同协议对应的实际使用场景。摘要提供了复现代码地址,但代码可用性、六个数据集的完整名单、四种方法的名称、实验协议、消融及统计信息尚未验证。
该研究通过理论分析与跨 EEG、ECG、fNIRS 的实验考察被试特异性特征如何影响分类评估,值得用于核对医疗时间序列模型的划分协议与泛化结论,但具体实验和适用边界尚未验证。
来源:OpenReview · EEG · openreview.net