跳到正文
OpenReview · State space models· Zhibo Zhang; Yuxi Li; Kailong Wang; Shuai Yuan; Ling Shi; Haoyu Wang·· 2025-01-01精选AI 评分73

通过嵌入空间毒性衰减绕过大语言模型的安全对齐

Circumventing Safety Alignment in Large Language Models Through Embedding Space Toxicity Attenuation

AI 导读

该研究关注大语言模型(LLMs)在输入嵌入受到操纵时的安全对齐脆弱性,提出 ETTA(Embedding Transformation Toxicity Attenuation),通过线性变换识别并衰减嵌入空间中的毒性敏感维度,以绕过拒绝行为并保持语言连贯性。以下基于摘要分析,未取得论文全文。 核心机制与研究定位:ETTA 的干预对象是输入的内部语义表示,而不是模型参数;作者称该方法不需要模型微调或访问训练数据。相较于既有通用扰动研究,本文试图更有针对性地分析和操纵与安全对齐有关的嵌入维度。具体如何识别敏感维度、构造线性变换,以及攻击所需的嵌入访问权限、优化过程和计算成本,摘要未提供,尚未验证。 结果:作者报告,在 AdvBench 上评估五个代表性开源 LLM,平均攻击成功率(ASR)为 88.61%,优于最佳基线;摘要将提升表述为 11.34%,但尚不能确认其指相对提升还是百分点差值。作者另报告,该方法可用于安全增强模型,例如在采用指令微调防御的设置下取得 77.39% ASR。该防御设置的模型范围、样本构成与聚合方式尚未验证,不能与前述平均结果直接比较。 证据边界:作者据此认为现有安全对齐策略存在嵌入层面的脆弱性,并强调嵌入感知防御的必要性。复现时需核对模型清单、AdvBench 采样与划分、攻击成功判定、对照基线及语言连贯性评估;实验协议、消融及统计信息尚未验证。本文主要研究对象是 LLM 安全,而非 EEG 解码或 BCI;材料没有提供足以支持向神经信号任务迁移的具体机制对应,因此不据此推断 BCI 有效性。

阅读价值

值得阅读的具体原因是 ETTA 将安全对齐脆弱性定位到输入嵌入表示中的毒性敏感维度,并报告了跨多个开源 LLM 的攻击效果;其威胁模型、成功判定与防御评估仍需全文核对。

来源:OpenReview · State space models · openreview.net