跳到正文
OpenReview · State space models· Ting Qiao·· 2026-04-22精选AI 评分75

DSSmoothing:通过双空间平滑迈向预训练语言模型的可认证数据集所有权验证

DSSmoothing: Toward Certified Dataset Ownership Verification for Pre-trained Language Models via Dual-Space Smoothing

AI 导读

基于摘要分析。该研究面向预训练语言模型(PLMs)的数据集所有权验证(DOV),针对水印在自然噪声与对抗扰动下可能不稳定的问题,提出双空间平滑方法 DSSmoothing,将嵌入空间与排列空间中的水印构造、随机平滑和统计比较结合起来,寻求可证明的验证鲁棒性。 方法采用灰盒设定:验证方只能查询可疑模型,但知道其输入表示模块。为处理文本离散性与语义敏感性,DSSmoothing 在嵌入空间施加连续扰动以刻画语义鲁棒性,并在排列空间进行受控 token 重排以刻画序列鲁棒性。第一阶段在两个空间协同嵌入触发器,生成满足范数约束的鲁棒水印数据集;第二阶段在验证时对两个空间实施随机平滑,计算可疑模型的 watermark robustness(WR),并与一组良性模型的 principal probability(PP)值进行统计比较。 作者声称,在有界双空间扰动下,可通过保证 WR 持续高于 PP,为所有权验证提供可证明的鲁棒性保证。作者报告,在多个代表性网络数据集上的实验显示验证表现稳定,并能抵抗潜在自适应攻击;摘要未提供具体数据集、模型、划分、对照基线或数值结果,不能据此量化效果。 需结合全文核对认证所依赖的假设、扰动边界与语义保持条件、WR 和 PP 的定义及估计方式、良性模型的选择、统计检验与误报控制,以及自适应攻击的能力范围。实验协议、消融及统计信息尚未验证。本文研究对象是语言模型的数据版权验证,材料未提供 EEG 或 BCI 实验,其结果不构成神经信号模型所有权验证有效性的证据。

阅读价值

值得关注其将数据集所有权验证从经验性水印检测推进到有界双空间扰动下的可证明鲁棒性分析,但认证条件、统计检验与自适应攻击评估仍需全文核对。

来源:OpenReview · State space models · openreview.net