跳到正文
arXiv · 学习目标与优化· Hsin-Ling Hsu; Min-Yu Chen; Nai-Chia Chen; Yan-Ru Chen; Yi-Ling Chang; Fang Yu·· 5 天前精选AI 评分78

FORGE:生成式语言模型的验证门控行为修复

FORGE: Verification-Gated Behavioral Repair for Generative Language Models

AI 导读

基于摘要分析。FORGE 面向生成式 LLM 在预训练中继承、部署后才在部分输入上显现的人口统计偏见与有毒生成行为,提出将缺陷定位、权重编辑和行为验证分离的定向修复框架,目标是在纠正已识别缺陷的同时保留模型整体功能。 核心机制是一个修复抽象:将定位到的缺陷生成转换为显式优化目标,使面向验证的修复技术能够用于自回归生成。FORGE 不绑定特定编辑机制,作者在同一定位与验证协议下实现了两种后端:基于约束的二次优化方法,提供逐样本修复证书;以及零空间投影编辑器,旨在减少对原模型分布的干扰。证书的具体性质、成立假设及其对未见输入的适用范围尚未验证,不能将其理解为整体生成安全性保证。 作者报告,在五个开源 LLM 上,FORGE 相比基于梯度的微调实现了更大的偏见与毒性降低,同时困惑度仅有轻微退化;摘要未给出模型名称、评估数据、划分、指标数值或微调配置。作者报告,两种后端在不同架构上表现互补,轻量因果探针将这种差异追溯到毒性相关信号的集中位置;仅使用少量缺陷样例时,FORGE 仍然有效,而常规微调常出现振荡或无法收敛。 复现时需核对缺陷定位方式、优化目标与约束的定义、零空间的构造、验证门控及失败处理规则,并区分已修复样例、未见缺陷输入和一般能力保留的评估结果。实验协议、消融及统计信息尚未验证。该摘要讨论的是语言模型行为修复,尚不足以建立向 EEG/BCI 迁移的明确机制路径;相关 EEG 工作尚未检索确认。

阅读价值

值得核对 FORGE 如何把生成行为缺陷转化为可验证的优化目标,以及逐样本修复证书的适用边界;摘要所述少样本修复与功能保留效果仍需结合全文实验协议验证。

来源:arXiv · 学习目标与优化 · arxiv.org