跳到正文
OpenReview · State space models·· 2026-09-14精选AI 评分79

TokenPrint:用于语言模型来源追溯的校准词元空间指纹

TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance

AI 导读

基于摘要分析。该研究针对语言模型基础检查点及潜在训练分布重叠难以仅凭元数据追溯的问题,提出无需训练的 TokenPrint:通过固定知识探针诱发隐藏状态,将靠后层隐藏状态投影到词表空间,并以解码后词元字符串的 Jaccard 重叠构建和比较模型指纹。 方法使用 250 个固定知识探针,在具有已记录关联的 32 个开放权重模型上评估,覆盖九个模型家族及 0.6B–32B 参数规模。作者报告,相似度总体随关联类型呈阶梯变化:相同数据上独立训练的模型、共享基础模型的微调版本、同一开发者的相关模型、无已记录关联模型,其原始/词表校正相似度依次为 0.48/0.35、0.39/0.33、0.38/0.28、0.22/0.17。这些是所评估模型组的描述性结果,不应直接解释为通用判定阈值。 作者报告,相同训练数据对应的信号在三个组织、两类分词器和两类架构中均存在,并在训练最初 1% 内、出现可测任务能力前形成;作者据此认为,共享训练数据可能提供了能力趋同之外的贡献,但该观察不等于确定训练数据重叠的因果证明。 在最近邻谱系检索中,作者报告五个 R1 蒸馏模型的已记录基础模型均进入候选前二,平均排名为 1.8、MRR 为 0.60。在深度消融中,谱系组区分 AUC 从四分之一深度处的 0.72 上升至输出端的 0.90,仅使用输出端前五个词元时为 0.87。量化稳定性实验报告 int8 下 Jaccard 相似度为 0.92,int4 下为 0.82–0.85;校准池中的跨模型最大相似度为 0.81,其区分能力仍受校准池覆盖范围约束。 作者表示发布探针、代码和指纹,实际可获取性尚未验证。词表校正方法、探针选择、候选池构成、统计不确定性及更广泛外部模型上的适用性需核对全文。本研究主要对象是语言模型来源追溯,摘要未提供 EEG/BCI 验证,不能据此视为神经信号模型来源识别的有效方案。

阅读价值

值得关注其无需训练的语言模型来源指纹及对分词器差异、网络深度和量化的校准分析,但相似度能否可靠区分共享数据与共享基础模型,仍需结合全文协议核对。

来源:OpenReview · State space models · openreview.net