跳到正文
OpenReview · Representation learning·· 6 天前精选AI 评分76

预测表征对齐提升对未见越狱攻击的鲁棒性

Predictive Representation Alignment Improves Robustness to Unseen Jailbreaks

AI 导读

基于摘要分析。本文研究大语言模型对未见越狱攻击的防御:攻击保留有害请求的语义,却通过改变表面形式绕过已有防御。作者提出 Predictive Representation Alignment(PRA),使对抗输入的隐藏状态预测对应干净请求的表征,以同时增强模型内部安全防御和外部监测。 PRA 的目标受 Joint-Embedding Predictive Architectures(JEPA)启发,并被加入安全训练目标。其关键区别在于,不仅优化模型的安全输出,还显式约束对抗请求与对应干净请求之间的表征关系。摘要未披露具体损失形式、表征提取位置、预测模块及训练配置,这些实现条件尚未验证。 作者报告,训练使用 72 种简单提示变换,在 21 种未见越狱方法上评估;在四个不同规模的模型上,将 PRA 加入安全训练目标后均改善了鲁棒性。作者报告,在 Llama-3-8B 上,PRA 降低攻击成功率,并取得优于现有方法的鲁棒性与过度拒绝权衡,但摘要未提供具体数值和对照配置。作者还报告,PRA 改善了 Constitutional Classifiers++(CC++)风格探针对未见攻击的检测,降低了模型与外部防护组合系统所承受的攻击成功率。 阅读全文时需核对训练变换与测试攻击的划分方式、干净请求配对规则、过度拒绝评估集,以及探针的训练与阈值设置;实验协议、消融及统计信息尚未验证。本文的主要对象是语言模型越狱防御,摘要不提供 EEG/BCI 验证,也不足以建立具体的神经信号迁移路径,因此不据此提出 BCI 有效性结论或复现实验建议。

阅读价值

值得关注的是将对抗请求与干净请求的隐藏表征预测对齐,同时考察模型自身防御与外部探针检测,但对未见攻击的收益及过度拒绝权衡仍需结合全文协议与定量结果核验。

来源:OpenReview · Representation learning · openreview.net