跳到正文
OpenReview · EEG·· 22 天前精选AI 评分78

超越 Accuracy:EEG 基础模型的鲁棒性、可解释性与表达能力

Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models

AI 导读

基于摘要分析。本研究考察仅依据干净、分布内数据上的 Accuracy,是否足以判断 EEG 基础模型(EEG-FMs)的价值;通过对六个 EEG-FMs 和一个监督学习基线在十个数据集上的评估,从鲁棒性、可解释性与表达能力三个层面检验既有结论。 鲁棒性方面,研究施加测试时加性噪声、随机与脑区相关的通道丢弃,以及特定脑区的噪声注入。作者报告,没有单一模型在所有失效模式下都占优;对噪声最稳健的模型,也是通道丢弃下较脆弱的模型之一。作者还报告,将缺失通道直接移除而非补零后,很大一部分通道丢弃脆弱性消失。这提示模型比较需要同时核对扰动类型和缺失通道的输入处理方式,不能以一种扰动下的表现概括整体鲁棒性。 可解释性方面,研究使用归因方法分析 EEG-FMs。作者报告,模型总体上将相关性集中于与任务相符、且与已知神经生理知识一致的脑区。该结果支持进一步检查模型关注区域,但仅凭摘要不能将归因一致性等同于因果解释或临床可靠性;具体归因算法及验证协议尚未验证。 表达能力方面,作者报告,此前仅训练预测头时表现较差,主要可由 pooling 策略解释,而不完全是预训练表征质量不足;保留 token 级嵌入时,EEG-FMs 展现出足够的表征能力。分块探测和注意力分析进一步表明,早期块已包含任务相关信息,后期块则在微调中被重新用于下游任务。这为区分表征本身的能力与读取表征方式造成的限制提供了评估思路。 作者建议,未来评估应分别报告各类扰动下的鲁棒性、提供归因图,并考察多种 pooling 策略。摘要未列出模型与数据集名称、任务、被试规模、数据划分、具体指标数值及扰动强度;被试内、跨被试或跨会话等协议、消融及统计信息尚未验证。复现前需核对这些条件,以及通道移除与补零的实现、token 表征的读取方式和预测头训练设置。

阅读价值

值得阅读的具体原因是:作者将 EEG 基础模型的评估从干净数据上的 Accuracy 扩展到扰动鲁棒性、归因与表征探测,并报告通道处理方式和 pooling 策略会改变评估结论,为核对模型比较协议提供了明确切入点。

来源:OpenReview · EEG · openreview.net