EEG 基础模型中的预测结构分布于不同深度层
Predictive Structure Is Distributed Across Depth in EEG Foundation Models
基于摘要分析。该研究探讨 EEG 基础模型作为冻结特征提取器时,中间层为何常优于最终层,并将解释拆分为读出方式、中间层对最终层的互补预测信息,以及深度结构的跨数据集迁移。作者认为,有用的预测结构分布在不同深度层,其价值取决于表征如何被读取和组合,而不能仅归因于最终层池化不佳或中间层单独表征更强。 方法上,研究在五个模型、三项任务上比较最终层读出的改进效果,并通过残差分析考察中间层是否保留最终层特征之外的预测信息。作者报告,改进最终层读出在各设置中均能恢复可观的预测性能,但中间层在多数设置中仍具有优势。部分中间层即使单独预测弱于最终层,也包含互补的预测变异;采用非线性跨层映射后,这一模式仍然存在。摘要未提供具体模型名称、任务、读出机制、残差构造或性能数值。 跨数据集方面,作者报告,在一个数据集上选出的层在另一数据集上仍有用,且由源数据集提取的一组紧凑任务方向在迁移后保留预测价值。该结果支持进一步研究层选择和任务方向的可迁移性,但摘要不足以判断迁移效果的大小、适用边界,或其与跨被试、跨会话泛化的关系。 复现时应重点核对:各模型与数据集的评估协议、读出器容量及训练条件、层选择与任务方向提取所用的数据划分,以及跨层映射和残差分析的具体实现。数据集、被试数、指标、基线、消融及统计信息尚未验证,代码与复现资源也尚未确认;目前不能据此推断所有 EEG 任务都应采用中间层或多层组合。
值得核对其读出对照与跨层残差分析:作者报告中间层即使单独预测较弱,仍可补充最终层特征,为冻结 EEG 基础模型时的层选择与特征组合提供了具体研究依据。
来源:OpenReview · EEG · openreview.net