跳到正文
OpenReview · State space models·· 26 天前精选AI 评分74

DASH:通过隐藏空间中的动态注意力引导缓解 LLM 幻觉、提升上下文忠实性

DASH: Mitigating LLM Hallucinations via Dynamic Attention Steering in Hidden-Space for Contextual Faithfulness

AI 导读

基于摘要分析。本文研究 LLM 的参数记忆压过给定上下文时产生的幻觉,提出 DASH:在冻结基础 LLM 的条件下,学习动态检索头选择和隐藏空间纠正,以提高生成内容对上下文的忠实性。研究对象是语言模型的上下文依托生成,并非 EEG 或 BCI 信号建模。 核心机制包括分层 Head Selection Controller 和 Nonlinear Steering Adapter。前者依据逐 token 的几何特征动态门控检索头,后者直接在模型隐藏空间中生成反事实残差纠正。相较摘要所述的静态、与输入无关的检索头掩码及线性 logit 空间纠正,DASH 将干预扩展为随输入变化的头选择和非线性隐藏表示调整。具体几何特征、训练目标、监督来源与适配器结构尚未验证。 作者报告,所提出的纠正机制严格包含仿射对比式 logit 引导,后者可作为一个单参数线性特例;控制器的最优门控分布具有闭式 softmax 表征。上述理论结论的成立条件及推导需查阅全文。作者还提出同一模型的 DASH++ 推理模式,以熵触发提前退出,但摘要未说明熵的计算对象、退出阈值及质量—效率权衡。 作者报告,在单跳与多跳推理基准上,DASH 按 exact-match、F1 和 ROUGE 评估取得最先进的上下文依托表现,并保持生成流畅性。摘要未提供基准名称、具体分数、数据划分、对照模型或流畅性测量方式,因此无法独立判断优势幅度及适用范围。实验协议、消融及统计信息尚未验证,代码与复现条件亦尚未确认;目前材料不足以建立其机制与 EEG/BCI 瓶颈的具体对应关系,不据此推断 BCI 有效性。

阅读价值

值得阅读其逐 token 动态检索头门控与隐藏空间非线性纠正机制,以及对线性对比式引导的包含关系;性能优势和提前退出的效率收益仍需核对全文实验。

来源:OpenReview · State space models · openreview.net