谁构建了这个模型?通过权重空间中的谱指纹追溯 LLM 谱系
Who Built This Model? Tracing LLM Lineage via Spectral Fingerprints in Weight Space
基于摘要分析。本文研究开放权重 LLM 的来源与派生关系,提出无需访问输入数据、仅分析权重矩阵的几何指纹框架,用于区分独立来源、同系列及共享基础模型三类谱系关系。主要贡献是将谱能量与子空间对齐结合,为模型来源、治理与供应链完整性提供可解释的分析信号。 机制上,谱能量通过奇异值分布刻画权重矩阵的整体幅值模式;子空间对齐通过子空间偏差刻画方向几何。作者报告,前者能够区分独立训练的模型及不同模型家族,后者支持对关系密切的模型进行更细粒度区分,包括训练数据规模与后训练流程不同的派生模型。这里的“指纹”指权重几何特征,并非生物信号特征。 作者报告,在超过 110 对不同开放权重 LLM 的实验中,权重空间几何能够支持粗粒度关系区分及共享基础模型内部的细粒度判别。摘要未提供具体模型清单、矩阵选择与跨模型对应方式、判别指标、阈值或对照结果,因此尚不能量化其准确性,也不能判断其对架构差异、量化或权重变换的稳健性;实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能用于 EEG 基础模型的权重溯源,而不是直接改善 EEG 解码。迁移假设依赖可访问权重及可比较的矩阵结构;可复用奇异值与子空间分析,但需改造层间对应和判别校准。通道配置、被试组成与小数据微调造成的权重变化,可能混淆数据差异与谱系差异。一个可检验的小实验是固定架构,比较独立训练模型与共享基础模型的多个微调版本,检验两类几何信号能否稳定区分来源关系。已有 EEG 相关工作尚未检索确认。
值得阅读的是仅凭权重区分模型来源与派生关系的双视角几何框架,但其判别稳健性及对 EEG 基础模型溯源的适用性尚未验证。
来源:OpenReview · State space models · openreview.net