跳到正文
OpenReview · State space models· Jie Song; Zhengqi Xu; Sai Wu; Gang Chen; Mingli Song·· 2023-01-01精选AI 评分75

ModelGiF:用于度量模型功能距离的梯度场

ModelGiF: Gradient Fields for Model Functional Distance

AI 导读

基于摘要分析。本文研究如何量化不同架构或任务的预训练深度模型之间的功能距离,提出 Model Gradient Field(ModelGiF),以输入空间上的梯度场为异构模型构建同质表示,再通过梯度场相似性衡量模型距离。主要研究对象是通用深度模型的功能比较,而非 EEG 解码或 BCI。 核心机制借鉴物理学中的“场”概念。作者的基本假设是,每个预训练深度模型都唯一确定一个输入空间上的 ModelGiF;这种表示使模型比较不必直接依赖架构或参数的一致性。但摘要未说明梯度针对何种函数或变量计算、输入空间如何采样、跨任务输出如何对齐,以及采用何种相似性度量,因此尚不能判断其计算成本与适用边界。 作者报告,在任务相关性估计、知识产权保护和模型遗忘验证等测试场景中,ModelGiF 展现出通用性,并优于所比较的先进方法。摘要未提供数据集、模型集合、划分、具体基线、指标或数值,无法据此量化优势;实验协议、消融及统计信息尚未验证。材料提供了代码仓库,但实现细节与复现条件尚未核对。 平台推测(待验证):若不同 EEG 解码模型能在统一通道、时间窗口和预处理定义下共享输入空间,梯度场比较可能用于分析模型功能相似性或评估模型遗忘,而不是直接提高解码性能。可复用的是梯度场表示与模型间相似性比较思路;需改造的是 EEG 输入对齐、输出任务对齐及采样策略。低信噪比、跨被试分布差异、通道不一致和小数据条件可能使距离主要反映输入差异,而非模型功能差异。一个可检验的小实验是:在固定 EEG 任务与相同留出数据上,比较独立训练模型及其遗忘处理版本的 ModelGiF 距离,并核对该距离是否对应预测行为变化;不能仅凭距离变化认定遗忘成功。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对 ModelGiF 如何将异构预训练模型转为可比较的梯度场表示,以及该距离在任务相关性、知识产权保护和模型遗忘验证中是否具有一致的判别意义;其 EEG/BCI 适用性尚未验证。

来源:OpenReview · State space models · openreview.net