跳到正文
OpenReview · State space models· Manohar Kaul; Aditya Saibewar; Sadbhavana Babar·· 2025-01-23精选AI 评分74

超越单纯的 Token 分析:防御针对 LLM 的社会工程攻击的超图度量空间框架

Beyond Mere Token Analysis: A Hypergraph Metric Space Framework for Defending Against Socially Engineered LLM Attacks

AI 导读

基于摘要分析。该研究针对 LLM 中以说服为代表的社会工程式越狱攻击,提出利用输入提示的 token 嵌入几何构建度量超图,并在超图组成的高阶度量空间中学习区分有害与良性提示。其主要研究对象是 LLM 输入安全过滤,而非 EEG 解码或 BCI。 核心机制是将每条提示表示为一个形成紧致度量空间的度量超图,以刻画良性与恶意提示之间的信息流差异;随后使用 Gromov-Hausdorff 距离作为广义度量,构造这些度量超图之间的空间,并在该空间训练安全分类器。摘要未说明超边构造、token 间距离定义、距离计算或近似方案,也未给出分类器结构、训练目标及计算开销,相关实现条件尚未验证。 作者报告,研究给出了分类器对新颖、未见 LLM 输入提示的泛化误差理论保证;其具体假设、误差界形式和适用范围尚未验证。作者还报告,在针对提示攻击的实证评估中,该方法显著优于现有通用防御机制及朴素基线,对算法导向攻击的表现也与专门防御方法相当。摘要未提供数据集、目标 LLM、攻击与防御基线名称、数据划分或量化指标,因此不能据此判断改进幅度及跨攻击类型的泛化能力;实验协议、消融及统计信息尚未验证。 该方法依赖提示嵌入及良性/有害分类任务,现有材料没有建立其与神经信号结构或 EEG 任务的具体对应关系,不能将 LLM 防御结果视为 BCI 有效性证据。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以提示词嵌入的度量超图及 Gromov-Hausdorff 距离构建安全分类空间的机制,以及针对未见提示的泛化误差理论保证;具体性能与理论适用条件尚未验证。

来源:OpenReview · State space models · openreview.net