跳到正文
OpenReview · EEG·· 23 天前精选AI 评分79

用于 EEG 基础模型适配的核化任务充分性正则化

Kernelized Task-Sufficiency Regularization for EEG Foundation Model Adaptation

AI 导读

基于摘要分析。本文研究标签稀缺条件下 EEG 基础模型向新任务和新个体适配时,适配表征是否充分保留预训练特征中的任务相关信息,并提出 ReSuff,通过核化任务充分性正则化促进这部分标签信息的利用。 研究动机来自留出被试上的残余信息审计:作者报告,在若干设置中,冻结的预训练特征仍能改善适配模型的 logits,包括完成全量微调之后。这提示预测表现较好并不等于适配过程已利用预训练表征中可用的全部任务信息;摘要未提供具体审计实现及各设置结果。 机制上,ReSuff 以预训练特征的固定紧凑视图为参照,利用条件类别概率定义标签残差,并推导联合 Gaussian-kernel 判据。作者称,该判据在总体层面恰好于相对于这一视图的任务充分性成立时为零;这一结论的范围是指定视图,而非所有原始 EEG 信息。训练时,方法在支持被试上拟合核预测器,在不相交的查询被试上评估残差矩,同时采用类别条件化的被试对抗学习处理被试间差异。紧凑视图的构建、核参数、损失组合及理论假设尚未验证。 结果方面,在三个有限标签、被试独立的 EEG 基准与三个预训练骨干构成的九种组合中,作者报告 ReSuff 相对匹配的任务导向适配基线均提高 Balanced Accuracy,平均提升 2.3 个百分点。在 REVE 上,作者报告其使四种适配策略的两任务平均 Balanced Accuracy 提高 1.5–2.2 个百分点,并称不增加推理成本。摘要未列出全部基准和骨干名称、任务定义、标签预算、被试数量或具体划分,不能据此比较不同协议下的绝对表现。 复现时需核对支持与查询被试的组织方式、条件类别概率及残差的估计方法、正则化与被试对抗学习的独立贡献,以及训练开销和推理成本的计算口径。实验协议、消融及统计信息尚未验证;总体层面的充分性判据是否能在有限样本、低信噪比 EEG 条件下稳定估计,也需结合全文与实验确认。

阅读价值

值得阅读的具体原因是 ReSuff 将 EEG 基础模型适配中的预训练标签信息利用程度转化为可审计、可正则化的目标,作者报告了多骨干、多数据集上的一致收益,但其充分性判据的假设与有限样本实现仍需全文核对。

来源:OpenReview · EEG · openreview.net