跳到正文
OpenReview · State space models· Zora Che; Stephen Casper; Robert Kirk; Anirudh Satheesh; Stewart Slocum; Lev E McKinney; Rohit Gandikota; Aidan Ewart; Domenic Rosati; Zichu Wu; Zikui Cai; Bilal Chughtai; Yarin Gal; Furong Huang; Dylan Hadfield-Menell·· 2025-07-25精选AI 评分80

模型篡改攻击使 LLM 能力评估更加严格

Model Tampering Attacks Enable More Rigorous Evaluations of LLM Capabilities

AI 导读

基于摘要分析。本文研究 LLM 有害能力的评估与抑制,提出以允许修改隐含激活或模型权重的 model tampering attacks(模型篡改攻击),补充仅通过输入诱发有害行为的评估。其主要对象是 LLM 风险与能力治理,而非 EEG 解码或 BCI 算法。 作者指出,输入—输出评估存在两项限制:难以充分覆盖开放权重模型的现实风险,且单次评估发现的行为只能构成模型最坏情况输入—输出行为的下界。模型篡改评估扩大了攻击者可操作的范围,用于检验有害能力被抑制后是否仍能被重新诱发;摘要未说明具体激活干预、权重修改策略或优化目标。 在将先进的有害能力移除技术置于 5 种输入空间攻击和 6 种模型篡改攻击下进行比较的评估中,作者报告:模型对能力诱发攻击的抵抗表现位于低维鲁棒性子空间;模型篡改攻击成功率能够经验性地预测留出输入空间攻击的成功率,并提供保守估计;所评估的先进 unlearning(机器遗忘)方法可在 16 步微调内被逆转。这些结论应限定于论文采用的模型、能力任务及攻击设置,不能直接推广至全部 LLM 或所有遗忘方法。 复核重点包括:低维子空间的定义与估计方法、留出攻击的划分和预测验证方式、保守估计成立的条件,以及 16 步微调所需的数据、权限与计算预算。模型名称、数据集、成功率数值、对照细节、消融及统计信息尚未验证。摘要没有提供与神经信号建模的具体机制对应,故不据此推断 EEG 或 BCI 效果。

阅读价值

值得阅读其将权重与隐含激活篡改纳入 LLM 风险评估的机制,以及篡改攻击对留出输入空间攻击成功率的预测关系;该关系的适用范围与保守性仍需核对全文实验。

来源:OpenReview · State space models · openreview.net