Activation Steering Decoding:通过双向隐状态干预缓解大型视觉语言模型中的幻觉
Activation Steering Decoding: Mitigating Hallucination in Large Vision-Language Models through Bidirectional Hidden State Intervention
基于摘要分析。本文研究大型视觉语言模型(LVLMs)生成内容与视觉输入不一致的幻觉问题,提出 Activation Steering Decoding(ASD):从生成过程的中间激活中识别幻觉相关方向,再通过双向隐状态干预和对比解码抑制幻觉,无需重新训练模型或修改架构。 机制方面,作者报告幻觉内容在模型隐状态空间中呈现可识别的模式。ASD 使用小规模校准集识别这些方向性模式,并计算正向与负向引导预测之间的差异,以抑制幻觉相关生成。摘要未说明校准样本的构造与标注方式、干预位置、方向估计方法,以及对比预测如何组合为最终解码分布,这些实现条件尚未验证。“无需训练”也不等于无需校准数据或额外推理开销。 结果方面,作者报告该方法在多个基准上显著减少幻觉,同时维持一般视觉理解任务表现;但摘要未提供基准名称、模型、指标、数值、对照方法或统计检验信息,因此尚不能判断改善幅度、模型间一致性及部署成本。实验协议、消融及统计信息尚未验证。 本文主要贡献属于 LVLM 生成阶段的激活干预,而非 EEG/BCI 解码方法,也不能仅凭来源栏目将其认定为状态空间模型研究。摘要未给出与神经信号处理的具体机制对应,因而不据此推断其具有 EEG/BCI 效果。
值得关注的是利用小规模校准集识别幻觉激活方向,并在无需重训练的条件下进行双向干预与对比解码;其效果幅度、校准成本及对一般能力的影响仍需结合全文验证。
来源:OpenReview · State space models · openreview.net