跳到正文
OpenReview · State space models· Leo Schwinn; David Dobre; Sophie Xhonneux; Gauthier Gidel; Stephan Günnemann·· 2024-01-01精选AI 评分74

Soft Prompt 威胁:通过嵌入空间攻击开源 LLM 的安全对齐与机器遗忘

Soft Prompt Threats: Attacking Safety Alignment and Unlearning in Open-Source LLMs through the Embedding Space

AI 导读

基于摘要分析。本文研究开源 LLM 在完整模型访问条件下的安全风险,提出 embedding space attack,直接攻击输入 token 的连续嵌入表示,并将这一威胁模型扩展至机器遗忘场景。其主要研究对象是 LLM 的安全对齐与已遗忘信息的可恢复性,而非 EEG 解码或 BCI。 机制与对照:摘要将既有自然语言空间中的离散输入操纵与连续嵌入空间攻击区分开来;前者可直接迁移至闭源模型,后者利用开源模型提供的完整访问能力。作者报告,嵌入空间攻击能够绕过模型对齐并诱发有害行为,效率高于离散攻击或模型微调。不过,摘要未给出具体优化目标、更新方式、攻击预算或效率指标,尚不能确定这些比较采用的资源约束及成功判据。 机器遗忘结果:作者报告,在多个数据集和模型上,嵌入空间攻击能够从经过遗忘处理的 LLM 中提取本应已删除的信息。这提示遗忘效果的评估需要考虑连续嵌入访问这一攻击条件,但不能据此断言所有遗忘方法均无效。模型与数据集名称、遗忘协议、信息恢复判据、结果数值、实验协议、消融及统计信息尚未验证。 适用边界:该摘要支持将连续嵌入攻击作为开源 LLM 的安全评估视角,尚不足以证明其对 EEG/BCI 模型具有直接适用性,也未提供具体的神经信号方法对应关系,因此不提出 BCI 迁移实验建议。已有 EEG 相关工作尚未检索确认。复现仍需取得全文,核对模型访问权限、攻击实现、对照预算与遗忘评估流程。

阅读价值

值得阅读的是作者将开源 LLM 的连续嵌入访问纳入安全对齐与机器遗忘的威胁模型,但攻击效率、信息恢复程度及比较协议仍需全文核对。

来源:OpenReview · State space models · openreview.net