OpenReview · Representation learning· Ivan Habernal·· 2022-01-01精选AI 评分78
重参数化技巧如何破坏文本表示学习的差分隐私保证
How reparametrization trick broke differentially-private text representation leaning
AI 导读
基于摘要分析。本文研究 NLP 文本表示学习中的差分隐私(DP)保证是否成立,对多篇采用 DPText 的既有研究进行形式化分析,并提出一种简单且具有一般性的经验性合理性检查,用于识别给定 DP 机制实现是否几乎确定地违反隐私损失保证。 作者报告,其分析涉及 Beigi 等(2019a、2019b)、Alnasser 等(2021)及 Beigi 等(2021)的相关工作,并认为这些工作关于满足差分隐私的声明不成立。标题将问题关联到重参数化技巧,但摘要未说明该技巧破坏隐私保证的具体数学路径,因此不能据此补写噪声分布、梯度传播方式、隐私预算或攻击设置。 该文的主要贡献是对既有隐私声明的审计,而非提出新的文本编码器。经验性检查的定位是发现隐私违规,不能将其通过解读为已经证明满足 DP。形式化证明的假设、相邻数据定义、所分析实现、检查的判定条件及适用范围均需结合全文核验;实验协议、消融及统计信息尚未验证。 材料未提供 EEG 或 BCI 实验,也未给出可直接对应神经信号任务的机制细节,因此不据此推断其在 BCI 隐私保护中的有效性。已有 EEG 相关工作尚未检索确认。
阅读价值
该文针对 DPText 系列工作的差分隐私声明开展形式化分析,并提出用于发现隐私保证违规的经验性检查,值得作为隐私保护表示学习的审计参考,但具体证明与检查流程尚未核验。
来源:OpenReview · Representation learning · openreview.net