输出标签空间引发的隐私泄漏与差分隐私持续学习
Privacy Leakage via Output Label Space and Differentially Private Continual Learning
基于摘要分析。本文研究分类模型的输出标签空间如何在训练满足差分隐私(DP)时仍泄漏敏感信息,尤其关注标签空间随时间变化的持续学习(CL)系统。作者提出 CL 场景下的 DP 形式化,并评估两条防护路径:以 DP 机制发布敏感数据中的标签,或采用较大的公共标签空间。 核心机制是区分模型训练的隐私保证与整个系统的隐私保证:即使训练本身满足 DP,系统暴露哪些类别仍可能构成隐私侧信道。作者报告给出了利用这一侧信道的具体攻击,并通过 CL 的 DP 形式化说明其方案与已有方法的区别。摘要未披露攻击者可见信息、相邻数据集定义、标签发布机制细节及隐私预算组合方式,这些均尚未验证;其中“最优 DP 机制”的最优性条件也需核对全文。 作者通过适配预训练模型探索两种防护方案的权衡,并报告在 Split-CIFAR-100 和 Split-ImageNet-R 的 DP 持续学习评估中,相比既有工作获得持续更高的 Accuracy,同时采用更强的隐私模型。摘要没有给出准确率数值、隐私参数、任务划分、预训练模型及对照实现,因此目前不能量化收益或判断不同协议下的可比性。实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG/BCI 持续学习系统根据敏感训练数据新增并公开类别,动态标签集合也可能暴露数据中包含的任务或状态;这是假设,并非本文已验证的 EEG 结果。可复用部分是标签发布层的隐私建模,需改造的是 BCI 类别语义、公开标签集合与持续学习协议。若类别预先固定且公开,该侧信道可能不适用;低信噪比、被试差异及小数据则可能放大 DP 对分类性能的影响。一个可检验的小实验是在固定 EEG 分类协议下,对比动态公开标签、DP 标签发布和预设公共标签空间,分别评估标签存在性推断与 Accuracy,并核对隐私预算组合。已有 EEG 相关工作尚未检索确认。
值得阅读其对动态输出标签空间隐私侧信道的形式化与防护设计,但准确率优势及更强隐私模型的具体适用条件仍需全文核对。
来源:OpenReview · State space models · openreview.net