重新思考 iEEG 自监督学习:电极来源预测
Rethinking Self-Supervised Learning for Intracranial EEG: Electrode-Origin Prediction
基于摘要分析。该研究针对 iEEG 基础模型的可迁移表征学习,将持续植入的电极作为自监督目标的依据,提出 electrode-origin prediction:从随神经活动变化的单通道波形中,识别其来自哪个训练电极。主要贡献是检验围绕 iEEG 数据特征设计预训练目标,能否比沿用其他模态的目标更有效地支持下游迁移。 模型采用包含一个主要 Transformer block 和轻量局部上下文模块的浅层编码器。作者报告,在冻结特征并使用线性读出的 iMindBench 评估中,该模型总体表现达到其所称的最先进水平,较此前领先基础模型提高约 1.7 个 AUROC 百分点;具体任务、聚合方式及数据划分尚未验证。 作者还报告,两项分别训练的模型在不同资源约束下超过上述领先模型已发表的平均表现:一项使用十分钟不重复神经记录,约为对照预训练时长的 0.41%;另一项迁移的编码器参数为 71k,约为对照编码器规模的 0.36%。这些是不同模型的结果,不能合并理解为同一模型同时满足两项资源条件。 在相同架构的匹配消融中,作者报告电极来源预测比所测试的重建目标带来更强迁移;规模分析显示,增加数据和模型规模可改善汇总表现,但收益因任务而异。这支持作者关于“目标设计而非仅规模影响 iEEG 基础模型表现”的判断,尚不能推广为所有重建目标均较差。 复现时需核对电极身份标签的构造、预训练与下游数据的被试及机构划分、各任务指标和统计不确定性,以及电极来源特征如何支持不同迁移任务。摘要提供了代码链接,但实现可用性、实验协议、消融细节及统计信息尚未验证;跨被试、跨任务和跨机构迁移的具体证据也需以全文为准。
值得核对其同架构预训练目标消融与低数据、低参数实验:作者报告 electrode-origin prediction 的迁移表现优于所测试的重建目标,为评估 iEEG 基础模型中目标设计与规模的作用提供了具体对照。
来源:OpenReview · EEG · openreview.net