跳到正文
OpenReview · Representation learning· Mohamed Ali Souibgui; Changkyu Choi; Andrey Barsky; Kangsoo Jung; Ernest Valveny; Dimosthenis Karatzas·· 2025-05-12精选AI 评分71

DocVXQA:面向文档问答的上下文感知视觉解释

DocVXQA: Context-Aware Visual Explanations for Document Question Answering

AI 导读

基于摘要分析。DocVXQA 研究文档视觉问答中的可解释性问题:模型不仅生成答案,还学习突出上下文关键区域的视觉热图,为回答提供可视化依据。其核心贡献是将可解释性原则量化为显式学习目标,使解释参与学习过程,而非仅展示与答案直接相关的局部区域。 机制上,作者强调解释应兼顾上下文充分性与表征效率,试图在预测性能与可解释性之间取得平衡。摘要未给出这些原则的数学定义、具体损失形式、热图生成方式及其与问答模型的耦合机制,尚不能判断其如何约束解释的忠实性,也不能将热图直接视为模型决策的因果证据。 作者报告,包含人工评估在内的广泛实验支持该方法的有效性;但摘要未列出数据集、数据划分、对照基线、指标或具体结果。实验协议、消融及统计信息尚未验证。作者提供了代码地址,但实现内容、运行依赖及复现条件尚未核验。 平台推测(待验证):若其解释目标能够脱离文档特定结构,可能为 EEG 解码中的时空证据可视化提供参考。该假设依赖可定位的输入区域及可检验的上下文充分性标准;迁移时需将文档区域映射为通道与时间窗,并改造热图与解码器接口。EEG 的低信噪比、通道相关性及跨被试差异可能导致热图突出伪迹或不稳定特征。一个可证伪的小实验是在固定数据划分与解码器下,比较加入解释目标前后的解码表现,并检验遮蔽高权重区域是否比等规模随机遮蔽更显著地影响预测。上述方案并非原论文已验证结果,相关 EEG 工作尚未检索确认。

阅读价值

值得关注其将可解释性原则显式纳入学习目标、兼顾上下文充分性与表征效率的设计,但热图是否忠实反映模型决策及其性能权衡仍需核对全文实验。

来源:OpenReview · Representation learning · openreview.net