视觉语言模型中已注册微调标记与模型谱系的权重空间取证
Weight-Space Forensics for Registered Fine-Tuning Marks and Model Lineage in Vision-Language Models
基于摘要分析。该研究面向视觉语言模型发布后难以核验训练历史的问题,提出 weight-space forensics:在授权方于微调阶段植入已注册标记的受控条件下,通过候选模型权重中的统计与谱特征检测标记,并分析受控教师—学生模型谱系。研究对象是视觉语言模型的权重审计,并非 EEG/BCI 解码方法。 该框架将选定模型参数表示为统计和谱描述符,不需要推理访问、候选模型训练样本或训练日志,但必须获得候选模型权重,以及匹配的未标记与已标记参考模型库。因此,其结论依赖预先注册标记和参考模型支持,不能等同于从任意检查点恢复训练历史。 作者报告,在 CLIP RN50 中,标记痕迹明显集中于投影层或输出头相关参数;而在 CLIP ViT-B/16 中,adapter、归一化及投影层或输出头等特征组均可检测到痕迹,说明局部集中现象不能直接跨架构推广。同类权重特征还支持标记检测、多个已注册密钥的识别,以及受控教师—学生谱系分析。作者报告,在目标域校准条件下,痕迹可在多个数据集上检出,并能在所研究的受控 CLIP-to-CLIP 蒸馏设置中保留;摘要未提供具体数据集、划分、指标或数值。 局限方面,作者报告持续的无标记微调可能削弱或移除痕迹,model soups 则需要考虑模型变换的校准,以避免误报。因此,证据仅支持已注册标记训练的审计与受控模型谱系认证,不支持任意数据集使用推断或开放世界来源归因。标记植入方式、描述符定义、参考库匹配规则、校准协议、消融及统计信息尚未验证。材料未提供与 EEG/BCI 的具体机制对应,不据此提出迁移有效性结论或复现实验建议。
该研究值得关注之处是明确了仅凭权重审计已注册微调标记所需的参考模型与校准条件,并报告架构差异、持续微调和模型融合对溯源可靠性的影响,但不支持开放世界来源归因。
来源:OpenReview · State space models · openreview.net