ZeroMAG:面向即插即用 EEG 基础模型的零样本多模态适配器生成
ZeroMAG: Zero-Shot Multimodal Adapter Generation for Plug-and-Play EEG Foundation Models
基于摘要分析。ZeroMAG 研究如何保留 EEG 基础模型(EFM)的预训练知识,同时利用伴随生理信号扩展其 EEG 单模态接口。方法冻结 EEG 编码器与预测头,根据无标签目标记录及任务上下文生成多模态适配器,无需目标标签或目标侧优化。 核心机制是以配置不变适配器组织伴随模态,从无标签记录与任务上下文构建“模态—被试—任务”条件,再在由源适配器学习得到、受功能约束的潜在空间中生成适配器权重。其区别于直接权重回归的关键在于引入功能约束,而非仅预测权重;具体适配器结构、条件编码方式、功能监督定义及损失形式尚未验证。摘要明确说明,目标数据集不参与 ZeroMAG 流程中的任何模型训练或选择,但任务上下文包含哪些信息仍需核对。 作者报告,在六个留出的目标数据集、三个 EFM 骨干模型的评估中,ZeroMAG 的 Balanced Accuracy 平均较 EEG-only 推理提高 7.22 个百分点,较直接权重回归提高 4.89 个百分点,与监督式多模态适应的平均差距在 0.50 个百分点以内。这些是所述留出评估下的汇总结果,不能据此确定各任务、数据集或骨干模型均获益,也不能将其直接解释为跨被试或跨会话性能。 作者报告,移除表征学习或条件生成任一环节的功能监督都会降低生成适配器的性能,支持两部分对该方法的贡献。尚需核对伴随模态类型、数据集与任务名称、被试数量、数据划分、源适配器训练过程、监督式对照的标签预算,以及各数据集结果和统计不确定性。方法已直接面向 EEG 多模态适应,但其对不同模态配置、信号质量及目标样本量的稳健性仍待全文验证。
值得核对其配置不变适配器与功能约束权重生成机制:作者报告在完全留出的目标数据集上,无需目标标签或目标侧优化即可获得接近监督式多模态适应的平均表现,但具体协议与统计可靠性尚未验证。
来源:OpenReview · EEG · openreview.net