模型篡改攻击使 LLM 能力评估更加严格

基于摘要分析。本文研究 LLM 风险与能力评估中仅通过输入诱发有害行为的局限，提出将允许修改潜在激活或模型权重的 model tampering attacks（模型篡改攻击）作为补充，以评估有害能力移除方法的稳健性。主要研究对象是 LLM 的能力风险评估，而非 EEG/BCI 或状态空间模型方法。 作者指出，输入—输出评估难以覆盖开放权重模型面临的现实风险，且一次评估中观察到的行为只能构成模型最坏情形行为的下界。模型篡改攻击扩展了评估者可操纵的范围，用于检验被抑制的有害能力是否仍可被重新诱发；摘要未提供具体攻击算法、激活修改方式或权重优化目标。 在针对有害 LLM 能力移除技术的评估中，作者使用了包含 5 种输入空间攻击与 6 种模型篡改攻击的攻击集合。作者报告，模型对能力诱发攻击的抵抗能力位于一个低维稳健性子空间；模型篡改攻击的成功率能够在实验中预测留出输入空间攻击的成功率，并提供保守估计。这里的“留出”针对输入空间攻击，不能解读为跨模型或跨数据集泛化。 作者还报告，在所评估的机器遗忘方法与微调条件下，有害能力移除效果可在 16 步微调内被逆转。摘要未说明所用模型、数据、微调样本量及成功判据，因此这一数字不能外推至所有机器遗忘方法。作者据此认为，仅依赖输入空间攻击可能不足以严格评估有害能力抑制效果。 复核重点包括攻击者权限与访问假设、攻击预算、训练与留出攻击的划分、成功率定义、低维子空间的估计方式，以及保守预测的适用范围。实验协议、消融及统计信息尚未验证，代码与复现资源也尚未验证。材料未提供与 EEG/BCI 的具体机制对应关系，不据此生成迁移方案。