LLMs 真的会遗忘吗？模型遗忘中的隐藏状态泄漏及其修复方法

基于摘要分析。本文研究 LLMs 在模型遗忘后是否仍通过隐藏状态保留敏感信息，核心贡献是区分输出抑制与表征擦除，并提出 Probe-Adversarial Representation Suppression（PARS），以对抗方式压低隐藏表征中可提取的信息。 机制与评估：作者报告，理论分析显示，解码器对敏感方向的响应可变得任意不敏感，使输出层面的泄漏趋于零，而隐藏表征仍保留相应信息。这意味着输出不再生成敏感内容，并不必然等于内部信息已被擦除。作者在 transformer 各层隐藏状态上训练生成式探针解码器，逐层测量信息可恢复性；该评估依赖隐藏状态访问及探针训练，不能直接等同于仅能访问输出的攻击场景。 作者报告，在 TOFU、MUSE、WMDP 三个基准及所评估的现有遗忘方法上，即使标准输出指标显示遗忘成功，隐藏表征仍可恢复大量敏感信息。PARS 直接针对表征泄漏优化，作者报告其在对抗探测与重新学习攻击下优于全部所评估基线。摘要未提供具体分数、数据划分、探针训练预算或正常任务效用变化，不能量化优势，也不能据此断言信息已被彻底删除。理论条件、目标函数、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若 EEG 模型存在删除特定被试数据或身份信息的需求，可检验同样的“输出抑制但表征仍可恢复”假设；这不是本文已验证的 EEG/BCI 结果。可复用隐藏状态探测及对抗抑制思路，但需把文本生成探针改为与被试身份或待删除信息相匹配的探针，并明确监督标签、数据访问与攻击预算。低信噪比、通道差异和小数据可能使探针低估泄漏，也可能让抑制目标损害任务相关表征。一个小规模可证伪实验是在固定被试与会话划分下，对比遗忘前后的身份探针表现及原 EEG 任务指标，并用未参与抑制训练的新探针复测。已有 EEG 相关工作尚未检索确认。