跳到正文
OpenReview · State space models·· 2026-05-25精选AI 评分79

视觉语言模型中受控数据集来源与蒸馏痕迹的权重空间取证

Weight-Space Forensics for Controlled Dataset Provenance and Distillation Traces in Vision-Language Models

AI 导读

基于摘要分析。本文研究能否仅凭视觉语言模型的权重,识别数据集特定微调中预先植入的已知受控来源标记,以及模型是否由带标记的教师蒸馏而来。作者提出 weight-space forensics,无需推理访问或训练数据,直接从模型参数检测来源与模型谱系痕迹;其目标是识别受控标记,而非恢复任意模型的完整训练历史。 核心机制是标记在 CLIP 风格的对齐空间中引起持久的几何位移。作者报告,在主要的 CLIP RN50 设置中,这种位移集中于 projection/head 层,而非植入标记所使用的 adapter;在 transformer-based CLIP 中也可观察到痕迹,但可见的特征组范围更广。作者将可检测性形式化为信噪分离问题并给出闭式条件,具体标记构造、检测统计量及条件推导尚未验证。 作者报告,在带标记与不带标记的 COCO-50K 模型之间实现完全分离;经过校准,可在 Flickr30k、ROCO 和 COCO 之间迁移检测。作者还报告,标记痕迹能够传递给蒸馏学生模型,在混合 CLIP-to-CLIP 蒸馏中保留,并抵抗事后及检测器感知的权重扰动。摘要未提供模型样本量、数据划分、具体指标、校准所需信息、蒸馏配置或扰动预算,不能据此判断开放环境中的误报率和检测边界。 复现时应核对标记植入与检测流程、未标记模型对照、校准成本、不同模型结构间的适用条件,以及蒸馏和扰动下的检测稳定性;实验协议、消融及统计信息尚未验证。本文主要对象是视觉语言模型的受控来源审计,不构成 EEG/BCI 有效性证据,已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其受控来源标记在权重空间中的可检测性及蒸馏后的保留条件,但摘要中的分离与鲁棒性结论尚需结合校准协议、对照设置和扰动范围验证。

来源:OpenReview · State space models · openreview.net