剪除泄露隐私的神经元：通过联合嵌入引导剪枝缓解微调 LLM 中的私有数据泄露

基于摘要分析。本文研究在专有记录上微调 LLM 后，如何减少个人身份信息（PII）泄露并保留模型效用，提出事后神经元剪枝框架 JEPA-Prune。其核心贡献是引入仅基于 PII-free 视图训练的参考模型，辅助定位与身份信息相关的神经元，而非直接将所有表征差异视为应删除的知识。 方法上，作者在私有微调模型之外，使用同一批记录的替代视图与掩码视图，通过 joint-embedding predictive architecture（JEPA）训练公共参考模型，旨在保留领域知识而不保留身份标识。跨模型表征探针衡量泄露记录在私有模型与参考模型之间的表征偏离，再结合 Integrated Gradients 和尺度不变的特异性评分，识别 PII 响应神经元并剪除。摘要所称“无需重新训练”针对剪枝操作；完整流程仍依赖参考模型训练。 作者报告，在摘要所述 LLM 实验中，剪除 1.6% 的神经元，使 PII 推断 Accuracy 和 PII 提取 Recall 分别最多降低 7.4 倍和 13.9 倍；对多数受测 LLM，未见文本的困惑度相对未剪枝模型的增幅控制在 16% 以内。作者同时报告，对照隐私神经元编辑方法使困惑度增至至少 26 倍。具体模型、数据、攻击协议、划分与各结果的对应关系未在摘要中提供，不能将这些最大降幅视为同一设置下同时取得的收益；实验协议、消融及统计信息尚未验证。 该研究主要面向文本 LLM 的隐私保护，并非 EEG/BCI 方法。其机制依赖同源记录的 PII-free 视图、跨模型表征对应及隐私响应归因；目前材料不足以确认这些条件在神经信号模型中成立，因此不据此提出 BCI 迁移效果或复现实验建议。已有 EEG 相关工作尚未检索确认。