跳到正文
OpenReview · State space models·· 27 天前精选AI 评分80

可恢复训练检查点中优化器状态导致的训练数据泄漏

Training-Data Leakage from Optimizer State in Resumable Checkpoints

AI 导读

基于摘要分析。本文研究可恢复训练检查点中优化器状态的训练数据隐私风险,核心观点是:优化器状态记录了训练梯度经过变换的历史,因此共享检查点可能暴露超出模型权重本身的信息。 作者区分两种攻击条件。仅有一个检查点时,可利用优化器状态中的痕迹推断训练数据是否包含特定特征,例如 token 或类别。作者报告,即使这些特征对优化器状态的原始贡献已衰减,相关痕迹仍可能被检测到,并将这种持续性称为“privacy memory”。具有两个相邻检查点时,作者报告可通过对带符号的优化器状态作差恢复优化器输入梯度,从而将已有梯度反演攻击应用于保存的检查点。这里的特征存在性推断与梯度恢复是不同层级的信息暴露,不能等同于已完整重建训练样本。 作者报告在多种模型、优化器状态表示和标准训练框架中验证了上述机制,并据此主张将可恢复训练检查点视为敏感训练产物,而非普通模型快照。摘要未给出具体模型、数据集、优化器、检查点间隔、攻击成功率或重建质量;梯度恢复所需状态、精确性条件、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若 EEG 模型共享的检查点包含攻击所需的优化器状态,也可能形成类似的隐私暴露通道,但这不是 EEG/BCI 有效性的证据。可复用的是状态检查、差分与梯度反演流程;需改造的是 EEG 输入约束及隐私评估指标。信号低信噪比、被试差异、通道配置和训练批次组成均可能影响推断与重建。可先在获授权的非敏感 EEG 数据上,对比仅共享权重与共享完整检查点时的特征存在性推断及重建风险。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其单检查点特征存在性推断与相邻检查点梯度恢复的适用条件,可为共享可恢复训练检查点时的隐私审查提供具体线索,但 EEG/BCI 场景的风险尚未验证。

来源:OpenReview · State space models · openreview.net