跳到正文
OpenReview · State space models·· 2026-09-17精选AI 评分78

参考点的重要性:用于权重空间学习的位移探测

The Reference Matters: Displacement Probing for Weight-Space Learning

AI 导读

基于摘要分析。本文研究权重空间学习:直接从模型参数预测模型属性,而非从神经信号进行解码。针对探测方法在同一 Model Tree(从共同预训练起点微调得到的模型集合)内有效的现象,作者提出 DiSplacement Probe(DSProbe),将探测对象从原始权重改为相对参考起点的权重位移。 核心机制是利用共享起点分离模型的共同部分与微调产生的变化。作者沿两个方向扩展:一是引入二阶 Gram 响应,并提出其位移可编码微调诱导的已学习特征;二是不再固定以预训练起点为唯一参考,而是学习需要减去的共享成分,形成 Refined-DSProbe(R-DSProbe)。具体探测计算、参考项参数化、损失函数及训练流程尚未验证。 作者报告,在 Model Jungle benchmark 的四种架构上,R-DSProbe 达到新的最佳结果,并能以显著更少的探针达到既有方法的 Accuracy;同时支持多个 Model Tree 共用一个编码器,使元网络参数量缩减 3.61 倍。摘要未提供具体架构、属性预测任务、数据划分、基线数值,以及参数缩减的详细对照设置,不能据此判断不同模型树间的泛化边界;实验协议、消融及统计信息尚未验证。 平台推测(待验证):其潜在 EEG 对应场景是分析从同一预训练模型出发、面向不同被试或会话微调的解码器,而非直接处理 EEG。假设权重位移能反映适配差异,可复用位移探测与可学习参考项,但需建立具有属性标签的模型集合,并统一参数对应关系。低信噪比、小样本微调以及通道差异可能使位移主要反映优化噪声,而非稳定的被试特征。一个可证伪的小实验是在共享起点的 EEG 解码器集合上,固定探针预算与模型级划分,比较原始权重探测、固定参考位移探测和可学习参考位移探测对独立测试性能的预测能力。该实验仅为迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对的是,作者将共享预训练起点转化为可干预的参考项,并报告位移探测可提升 Model Jungle 上的探测效率与跨 Model Tree 编码器共享能力,但其适用边界仍需全文实验支持。

来源:OpenReview · State space models · openreview.net