OpenReview · State space models· Cheng Qian; Hainan Zhang; Lei Sha; Zhiming Zheng·· 2024-01-01精选AI 评分70
HSF:通过隐藏状态过滤防御越狱攻击
HSF: Defending against Jailbreak Attacks with Hidden State Filtering
AI 导读
基于摘要分析。本文研究 LLM 的越狱攻击防御,提出 Hidden State Filter(HSF),利用输入在模型隐藏状态表示空间中的差异识别并拒绝攻击性输入,目标是在生成回答前进行干预,同时减少对正常查询的影响。 核心机制是将防御任务转化为分类问题。作者观察到,越狱攻击、安全查询和有害查询在 LLM 隐藏状态空间中呈现不同的聚类模式,并通过额外的插件模块利用这些表示进行过滤。作者将 HSF 描述为“无损”的架构防御机制;但摘要未说明隐藏状态来自哪些位置、如何提取、分类器如何训练,以及“无损”的具体定义。所谓“推理开始前”防御与隐藏状态计算之间的阶段划分、计算成本核算,仍需正文确认。 作者报告,在两个基准数据集、三个不同 LLM 和六种越狱攻击的实验范围内,HSF 降低了攻击成功率,对正常用户查询回答的影响较小,推理开销可忽略,并优于所比较的防御基线。摘要未提供数据集与模型名称、具体指标数值、划分方式或基线配置,实验协议、消融及统计信息尚未验证,不能据此量化收益或确认其对未见攻击的泛化能力。 摘要声明代码与数据已提供,但其内容、可访问性和复现条件尚未核验。本文的主要对象是 LLM 安全防御,并非 EEG 或 BCI 方法;材料未提供神经信号实验或明确的跨领域机制对应,不据此推断 BCI 有效性。
阅读价值
值得核对 HSF 如何利用隐藏状态分类实现生成前防御,尤其是隐藏状态提取成本、越狱识别效果与正常查询误拒之间的权衡。
来源:OpenReview · State space models · openreview.net