运动想象 BCI 中分布外检测的挑战
The challenge of out-of-distribution detection in motor imagery BCIs.
基于摘要分析。该研究针对运动想象(MI)BCI 分类器遇到训练阶段未见类别时仍会强制作出分类的问题,采用 Leave-One-Class-Out 分布外(OOD)检测设置,考察能否依据预测不确定性识别并拒绝陌生运动想象类别。 研究在部分运动想象类别上训练模型,再将未参与训练的运动类别作为 OOD 输入,测试七种 OOD 检测方法,以及一种此前被声称能够提升 OOD 检测质量的方法。摘要明确提及 Deep Ensemble 与 MC-Dropout,但未给出完整方法清单、不确定性计算方式或拒识阈值。 作者报告,对于许多 BCI 用户,熟悉的分布内类别反而可能比 OOD 类别具有更高的不确定性,并将这一现象归因于 EEG 信号较高的固有变异;因此,一些在其他机器学习领域表现良好的 OOD 检测方法,在识别陌生运动想象模式时并不有效。作者同时报告,OOD 检测表现与任务内表现相关:在所述留出类别评估背景下,Deep Ensemble 和 MC-Dropout 的任务内 AUROC 可超过 0.9,OOD 检测表现最高约为 0.7;摘要未明确后者的指标名称,也未提供对应被试、数据划分及汇总方式,不能将其解释为 Accuracy 或普遍可达的性能。 该工作的主要贡献是提供一种研究未见运动想象类别鲁棒性的评估范式,并揭示任务内分类与未知类别拒识之间的关联。作者称其为首个评估此类 OOD 数据的 MI BCI 基准,这一优先性尚未独立核实。摘要结果支持在部分高任务表现模型和被试上探索拒识,但不足以确认在线 BCI 的整体安全性改善。数据集、被试数、被试内或跨被试设置、预处理、对照方法、消融及统计信息尚未验证;复现时需核对留出类别构造、阈值选择及分布内误拒与 OOD 检出之间的权衡。
该研究以 Leave-One-Class-Out 协议检验未知运动想象类别的拒识能力,作者报告 EEG 固有变异可能使熟悉类别的不确定性高于未知类别,值得据此核对常用不确定性方法在 MI BCI 中的适用边界。
来源:Europe PMC · 运动想象算法 · doi.org