CovDPO:弥合 LLM 安全对齐中的表征空间覆盖缺口
CovDPO: Bridging Representation-Space Coverage Gaps in LLM Safety Alignment
基于摘要分析。本文研究 LLM 安全对齐模型对分布外(OOD)有害输入泛化不足的问题,提出覆盖感知框架 CovDPO,将表征空间覆盖诊断、偏好数据扩增与 DPO 优化连接起来。其主要研究对象是语言模型安全对齐,而非 EEG 解码或 BCI。 核心机制:作者在两个模型家族中观察到,引发安全失败的有害输入倾向于位于安全偏好训练数据覆盖较弱的表征区域;这一关联本身尚不能证明覆盖不足是失败的唯一原因。CovDPO 引入 Hidden-State Coverage Score(HCS),衡量安全偏好数据在表征空间中的局部覆盖度:一方面引导偏好数据扩增,针对与安全失败相关的低覆盖区域补充数据;另一方面根据覆盖度缩放 DPO 目标中的损失。HCS 的计算方式、表征提取位置、扩增数据生成与筛选流程、损失缩放形式均需全文核对。 作者报告,在四个 OOD 有害输入基准和三种 jailbreak 攻击的评估中,相比最强对照基线,CovDPO 将 Llama-3-8B 的平均攻击成功率从 15.90% 降至 2.41%,将 Qwen3-8B 的该指标从 11.21% 降至 4.60%,同时维持较低的过度拒答水平。摘要未提供基准名称、具体基线、平均指标的汇总方式及过度拒答数值;实验协议、消融及统计信息尚未验证。 平台推测(待验证):可迁移的假设是,局部表征覆盖诊断可能帮助定位跨被试或跨会话 EEG 的薄弱区域,并指导采样或训练样本加权;原方法依赖安全偏好数据及 DPO 训练结构,不能直接等同于 EEG 分类训练。覆盖评分思路或可复用,偏好构造、数据扩增及优化目标则需改造。低信噪比、通道差异和小数据可能使低覆盖区域主要反映伪迹或个体差异,而非可学习的任务信息。可先在固定跨被试划分下检验局部覆盖度能否预测留出被试的解码错误,再比较覆盖引导采样与等预算随机采样;测试标签仅用于评估,不参与覆盖诊断或采样。已有 EEG 相关工作尚未检索确认。
值得阅读的是将表征空间覆盖诊断同时用于安全偏好数据扩增与 DPO 损失缩放的机制;摘要报告了 OOD 安全收益,但覆盖度定义、对照协议及其对 EEG 的适用性尚未验证。
来源:OpenReview · State space models · openreview.net