跳到正文
OpenReview · EEG·· 22 天前精选AI 评分80

MoRSE:将 EEG 基础模型蒸馏为单一电极配置鲁棒的多任务编码器

MoRSE: Distilling EEG Foundation Models into a Single Montage-Robust Multi-Task Encoder

AI 导读

基于摘要分析。研究针对 EEG 基础模型在单一电极配置上完成任务微调后,电极配置灵活性受损、部署仍需为各任务保留大型模型的问题,提出 MoRSE(Montage-Robust Student for EEG),将微调后的教师模型蒸馏为一个小型多任务编码器,使其能够适应电极子集输入。 核心机制是非对称蒸馏:教师接收完整电极配置,学生在每个训练步骤接收重新随机采样的电极子集,学习从可用电极推断完整配置下的表征。作者报告,微调通常会使表征的有效维度压缩至与类别数量相关的水平;据此,方法还将学生与从未微调的骨干对齐。摘要未说明这两种对齐的具体损失、权重、教师组合方式或多任务训练调度,尚不能据此还原完整实现。 作者在覆盖癫痫发作检测、睡眠分期、情绪识别、运动想象及痴呆诊断的八项任务上评估。作者报告,未引入电极配置变化的微调模型在移除电极后,Balanced Accuracy 下降 0.142。在 30 个“任务×电极配置”评估单元中,单一 1.97M 参数编码器保留各单元专用模型 Balanced Accuracy 的 95%,部署参数量减少 89 倍;相较于八个采用电极配置采样训练、合计参数量为其 24 倍的专用模型,保留其 Balanced Accuracy 的 98%。这些保持率不是绝对准确率,也不能替代逐任务结果。作者还报告对未见电极布局及两个外部睡眠分期数据集的零样本迁移,但摘要未给出具体分数。 阅读与复现重点包括:学生对未微调骨干的对齐是否缓解任务微调带来的表征压缩,随机电极子集训练能否覆盖实际部署的通道缺失,以及多任务共享是否存在性能折衷。数据集名称、被试规模、被试内或跨被试划分、通道采样规则、零样本迁移定义、消融及统计信息尚未验证。摘要称匿名代码可通过 Reproducibility Statement 获取,其可访问性与实现完整性尚未验证。

阅读价值

值得核对其非对称蒸馏与未微调骨干对齐机制能否兼顾电极子集鲁棒性和多任务压缩,尤其需复现不同电极布局下的 Balanced Accuracy 保持率及零样本迁移协议。

来源:OpenReview · EEG · openreview.net