跳到正文
OpenReview · Representation learning· Chujie Zheng; Fan Yin; Hao Zhou; Fandong Meng; Jie Zhou; Kai-Wei Chang; Minlie Huang; Nanyun Peng·· 2024-01-01精选AI 评分77

通过定向表示优化实现提示驱动的 LLM 安全防护

Prompt-Driven LLM Safeguarding via Directed Representation Optimization

AI 导读

基于摘要分析。本文研究安全提示如何改变 LLM 对用户查询的服从或拒答行为,并提出 DRO(Directed Representation Optimization),通过优化连续可训练的提示嵌入,依据查询有害性定向调整其表示,以改善安全防护与正常请求响应之间的平衡。 机制方面,作者报告:在输入前添加安全提示,通常会使查询表示沿着更易触发拒答的方向移动,即使查询本身无害也会受到影响;另一方面,LLM 在没有安全提示时已具有区分有害与无害查询的能力。DRO 利用这两项观察,让提示引导查询表示沿拒答方向或其反方向移动,而非对所有查询施加一致的拒答倾向。摘要未说明拒答方向的估计方法、有害性监督的来源、具体优化目标及训练数据规模。 评估方面,作者报告在八个 LLM 上使用域外及越狱基准开展实验,相较人工编写的安全提示,DRO 改善了安全防护表现,且未损害模型通用表现。摘要未提供模型与基准名称、具体指标、提升幅度或统计不确定性,因此无法据此判断收益大小及适用边界;实验协议、消融及统计信息尚未验证。 本文的主要研究对象是文本 LLM 安全防护,并非 EEG 解码或 BCI。其方法依赖查询有害性与拒答行为之间的表示关系,当前材料未建立该关系与 EEG 任务的具体对应路径,因此不据此提出 EEG 迁移效果或复现实验建议。

阅读价值

值得关注的是,作者将安全提示的普遍拒答偏移与查询有害性区分开来,并据此优化连续提示表示;其安全性与通用能力的权衡仍需结合完整评估协议核对。

来源:OpenReview · Representation learning · openreview.net