跳到正文
OpenReview · State space models· Jie Song; Zhengqi Xu; Sai Wu; Gang Chen; Mingli Song·· 2023-01-01精选AI 评分75

ModelGiF:用于衡量模型功能距离的梯度场

ModelGiF: Gradient Fields for Model Functional Distance

AI 导读

基于摘要分析。本文研究如何量化架构或任务不同的预训练深度模型之间的功能距离,提出 Model Gradient Field(ModelGiF),以输入空间上的梯度场为异构模型提取同质表示,再通过梯度场相似性衡量模型间距离。主要研究对象是通用预训练模型的功能比较,并非 EEG 或 BCI 专用算法。 核心机制与假设:作者假设每个预训练深度模型都唯一确定一个输入空间上的 ModelGiF,以此将难以直接比较的模型转换为可比较的表示。这里的“唯一确定”是方法的基础假设,不能据摘要进一步解释为模型功能与梯度场之间已被证明存在一一对应关系。梯度针对何种标量或输出计算、输入如何采样、场表示如何聚合,以及距离如何定义,均尚未验证。 作者报告,在任务相关性估计、知识产权保护和模型遗忘验证等测试场景中,ModelGiF 展现了适用性,并显著优于所比较的先进方法。摘要未提供数据集、指标、具体分数、对照名称或统计检验信息,因此无法核对优势幅度及适用范围;实验协议、消融及统计信息尚未验证。摘要提供了代码仓库,但实现细节与复现条件尚未核验。 平台推测(待验证):假设梯度场能够在共同输入空间中稳定表征 EEG 解码器的功能,它可能用于比较不同架构或微调前后模型的功能变化。可复用的是梯度场表征与相似性比较思路;需适配 EEG 的通道布局、时间窗口、预处理和任务输出。低信噪比、跨被试分布差异及小样本可能使距离主要反映输入扰动,而非任务功能。一个可检验的小实验是在同一 EEG 任务、固定划分和相同探测输入下,比较同一模型重复训练与不同模型之间的梯度场距离,并检验其是否对应预测行为差异。已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读其用梯度场比较异构预训练模型功能的思路,以及在任务相关性、知识产权保护和模型遗忘验证中的评估;具体性能与向 EEG 模型比较的迁移价值尚未验证。

来源:OpenReview · State space models · openreview.net