真的能够迁移吗?在小规模耳周 EEG 数据上审计冻结的 EEG 基础模型
Does It Really Transfer? Auditing Frozen EEG Foundation Models on Small Ear-EEG Data
基于摘要分析。该研究考察在小规模、与预训练分布不同的耳周 EEG 数据上,冻结 EEG 基础模型并训练小型分类器所得的高分是否真正来自可迁移表征,提出一套迁移审计协议,并发布 Synapse 数据集及相关实现。主要贡献是区分表征迁移、设置选择带来的偶然高分,以及通道质量和人口学因素提供的非任务线索,而非提出新的基础模型。 协议记录每项设置选择,在置换标签后重新执行产生原结果的搜索,并使用嵌套交叉验证复核;同时检查未通过质量控制的通道,以及仅凭年龄和性别是否可以预测标签。研究还向记录中注入已知信号,用于确认审计流程能够发现真实效应。摘要未提供具体搜索空间、分类器、置换次数、输入处理或嵌套划分细节,实验协议、消融及统计信息尚未验证。 作者在 Synapse 上评估了八个以头皮 EEG 预训练的基础模型。Synapse 包含 23 名被试的可穿戴耳周 EEG,采用被动听觉范式并带有临床标签;具体临床目标、类别分布及被试划分尚未验证。作者报告,常规评估中两个模型看似能够迁移:BIOT-18ch 的 AUROC 为 0.86,但审计将其表现归因于未通过质量控制的通道,移除这些通道后 AUROC 降至 0.46;LaBraM 的 AUROC 为 0.92,虽不依赖这些通道,但结果仅在狭窄的输入窗口范围内成立,且在当前样本量下无法与年龄和性别因素区分,因此迁移尚不能确认。上述数值对应摘要中的常规评估及通道移除条件,不能视为已验证的跨被试或跨会话性能。 作者报告,在相同记录中向随机一组被试注入已知大小的效应后,协议能够确认该迁移效应;不注入时则未确认迁移。这支持其作为审计工具的检出能力,但不等于证实真实临床标签可由模型可靠解码,也不能据此否定这些模型在其他任务中的迁移能力。作者声明发布协议、代码、数据及全部结果;复现仍需核对完整搜索记录、质量控制规则、混杂分析及注入信号的构造方式。
值得阅读的具体原因是该研究将冻结 EEG 基础模型的迁移表现与设置搜索、通道质量及人口学混杂分开审计,并以注入已知信号检验审计流程的检出能力,但真实临床标签上的迁移结论仍需结合完整协议核对。
来源:OpenReview · EEG · openreview.net