跳到正文
OpenReview · State space models·· 2024-12-04精选AI 评分75

Activation Contrast Decoding:通过双向隐藏状态干预缓解大型视觉语言模型的幻觉

Activation Contrast Decoding: Mitigating Hallucination in Large Vision-Language Models through Bidirectional Hidden State Intervention

AI 导读

基于摘要分析。该研究针对大型视觉语言模型(LVLMs)生成内容与视觉输入不一致的幻觉问题,提出在生成过程中干预中间激活、并结合对比解码的免训练方法。研究对象是视觉语言生成,而非 EEG 解码或 BCI。 核心机制:作者报告,幻觉内容在模型隐藏状态空间中呈现可识别的方向性模式。方法先利用小规模校准集识别这些方向,再分别施加正向与负向引导,通过两种引导预测的差异执行对比解码,以抑制幻觉相关模式。作者称该方法不需要重新训练模型或修改模型架构。摘要中的方法全名仍为占位符,正文缩写写作 ASD,与标题名称的对应关系需核对。 结果与证据边界:作者报告,该方法在多个基准上减少幻觉,同时保持一般视觉理解任务的表现;但摘要未提供基准名称、模型配置、评价指标、具体数值或对照方法。校准集的构建与监督方式、干预位置和强度、预测差的具体计算方式、推理开销,以及实验协议、消融及统计信息尚未验证。免训练不等于无需校准数据,也不能据此认定部署成本不变。 与 BCI 的关系:材料未提供神经信号实验,也未建立视觉语言模型幻觉方向与 EEG 解码误差之间的具体机制对应,因此不能将其结果视为 BCI 有效性的证据。已有 EEG 相关工作尚未检索确认。

阅读价值

值得核对其利用小规模校准集定位幻觉激活方向、再以双向干预预测差进行免训练解码的机制,但具体收益、计算开销与对校准数据的依赖尚未验证。

来源:OpenReview · State space models · openreview.net