软提示威胁：通过嵌入空间攻击开源 LLM 的安全对齐与机器遗忘

基于摘要分析。本文研究开源 LLM 在完整模型访问条件下的安全脆弱性，提出 embedding space attack，直接攻击输入 token 的连续嵌入表示，以检验安全对齐和机器遗忘能否抵御自然语言离散输入之外的攻击。 核心机制与威胁模型：论文将主要关注自然语言离散输入操纵的既有攻击，与利用完整模型访问权限的连续嵌入空间攻击区分开来。前者可直接迁移至闭源模型，后者针对开源模型可访问内部表示的条件。摘要未说明软提示的具体参数化方式、优化目标、梯度使用方式或攻击预算，因此尚不能确认实现细节与复现成本。 作者报告，在其评估条件下，嵌入空间攻击比离散攻击或模型微调更高效地绕过模型对齐并诱发有害行为；被嵌入攻击攻破的模型还可用于生成自然语言形式的离散越狱输入。摘要未提供效率指标、成功率、对照方法名称及预算匹配条件，不能据此量化优势或判断不同攻击之间的可比性。 在机器遗忘场景中，作者提出一种新的威胁模型，并报告在多个数据集与模型上，嵌入空间攻击能够提取本应已被删除的信息。这一结果指向遗忘后信息可恢复性的评估问题，但具体遗忘方法、信息提取判据、模型和数据集名称尚未验证，不能扩展为所有遗忘方法均失效。 阅读全文时需核对模型访问权限、攻击与对照的计算预算、遗忘目标及信息恢复标准；实验协议、消融及统计信息尚未验证。本文主要贡献属于 LLM 安全与机器遗忘评估，所给材料未建立其与 EEG/BCI 的具体机制对应，不据此提出迁移效果或复现实验建议。