MoPe：基于模型扰动的语言模型隐私攻击

基于摘要分析。该研究针对预训练语言模型可能泄露训练数据的问题，提出 MoPe（Model Perturbations），在可白盒访问模型参数的条件下，判断给定文本是否属于训练数据。其主要贡献是利用模型参数扰动后的对数似然下降构造成员推断统计量，而非仅依赖样本损失。 机制上，MoPe 向参数空间加入噪声，测量给定样本 x 的对数似然下降；作者指出，该统计量近似反映相对于模型参数的 Hessian 矩阵迹。研究将其与现有基于损失的攻击，以及其他利用二阶曲率信息的攻击进行比较，后者包括相对于模型输入的 Hessian 矩阵迹。 作者报告，在参数规模为 70M 至 12B 的语言模型上，MoPe 比所比较的现有攻击更有效；摘要未提供具体数据集、成员与非成员划分、攻击指标及数值，因而不能据此判断提升幅度或不同模型间的可比性。作者还报告，其方法能够恢复部分损失处于平均水平的训练样本，并据此质疑仅凭样本损失判断记忆或“遗忘”的充分性；其中恢复与可提取性的具体操作定义仍需正文核对。 平台推测（待验证）：参数扰动与成员推断之间的机制联系，可作为 EEG 模型隐私审计的候选思路，而不是 EEG 解码性能改进方法。其迁移依赖模型参数访问权限、明确的训练成员身份，以及适合 EEG 任务的逐样本损失；语言模型的对数似然统计量不能直接照搬。低信噪比、被试差异、通道配置及小数据条件可能影响曲率统计量，需区分成员身份与数据分布差异。可检验的小实验是在固定 EEG 任务与数据划分下，对比参数扰动统计量和原始损失的成员推断能力，并单独核对被试身份混杂。已有 EEG 相关工作尚未检索确认；实验协议、消融及统计信息尚未验证。