用于纠正扩散视觉语言模型物体幻觉的掩码态证据

基于摘要分析。本文研究扩散视觉语言模型（dVLMs）的物体幻觉，提出无需训练的 Evidence-Guided Commitment Correction（EGCC）：利用回答仍处于掩码状态时的模型内部证据，识别缺乏图像支持的物体语义承诺，并在生成完成后进行受控的局部修正。研究对象是视觉语言生成中的事实纠错，而非 EEG 解码或 BCI。 与能够回退因果前缀的自回归 VLM 不同，dVLM 并行填充掩码回答，语义承诺不必遵循唯一顺序。作者报告，在所测试的三个 dVLM 骨干上，直接重新掩码可疑物体片段后，已有双向上下文仍会在触发案例的 80–86% 中重建同一物体，表明单纯重新开放片段未必能消除错误语义。 EGCC 对固定的物体存在性探测，在答案仍被掩码时读取模型原生词元分布中的连续分数。作者报告，该分数比硬解码答案更能排序物体缺乏支持的程度，且能区分获得相同解码答案的语义承诺。框架据此实施稀疏的局部状态转移：按构造保留全部非目标词元，限制提取出的物体承诺不扩张，并要求提取器识别出的每个新增物体比被重新开放的源物体获得更强支持。证据估计和修正均使用同一冻结 dVLM，不依赖辅助验证器或完整回答的多次展开。 作者报告，在跨模型和基准固定同一数值策略的条件下，EGCC 在 LLaDA-V、MMaDA、LaViDA 的 COCO CHAIR 与 AMBER-Generative 评估中降低了所测物体幻觉，最大降幅分别为 3.8 个 CHAIR-S 点和 11.7 个 AMBER Hal 点；摘要未说明这些最大值各对应的模型配置，不能视为所有配置的共同收益。 连续分数的具体定义、物体提取器、样本与划分、对照设置、消融、统计信息、生成质量及运行开销尚未验证。其约束依赖提取出的物体承诺，不能仅据摘要推断完整语义保真或整体事实正确性。现有材料也未建立与 EEG/BCI 的具体机制对应关系，不据此推断迁移效果。