跳到正文
OpenReview · State space models· Jiangzhou Ju; Yunlin Mao; Zhen Wu; Robert Ridley; Jiajun Chen; Xinyu Dai·· 2025-12-31精选AI 评分75

连接问题与图表:面向图表问答的弱监督对齐模型

Bridging Questions and Charts: A Weakly Supervised Alignment Model for Chart Question Answering

AI 导读

基于摘要分析。本文研究 Chart Question Answering(CQA,图表问答)中的细粒度跨模态、多步推理问题,提出将问题与图表中相关数据点的对齐作为中间监督,以缓解仅依赖最终答案监督时推理空间过大的困难。其主要研究对象是图表理解,而非 EEG 解码或 BCI。 核心机制是 Alignment Targets Identification(ATI)算法,用于识别与问题相关的柱、线、点等图表数据元素,并为模型提供弱监督对齐信号。摘要未说明 ATI 如何构造目标、使用哪些标注或图表结构信息,也未给出模型架构、损失形式以及对齐监督与答案监督的具体结合方式,相关实现条件尚未验证。 作者报告,在 PlotQA-V1、PlotQA-V2 和 ChartQA 上开展了实验;与非对齐基线中的 CRCT 相比,在 PlotQA-V1 和 PlotQA-V2 上分别提升 5.59% 和 29.53%。摘要未明确这两个数值对应的指标及其属于相对增幅还是百分点差,因此不能按 Accuracy 或百分点解释。作者报告在 ChartQA 上取得有竞争力的表现,并称仅数百万参数的模型在两个 PlotQA 数据集上优于部分超过十亿参数的预训练 CQA 模型;具体模型、数据划分、预训练资源、实验协议、消融及统计信息尚未验证。 平台推测(待验证):若将该机制用于 EEG 图表问答,可考察“问题—可视化信号片段”的中间对齐监督,而不能直接视为原始 EEG 解码方法。该假设依赖可定位的波形或时频图元素及问答监督,需要改造目标识别和信号片段映射模块;低信噪比、通道差异、跨被试变化及小数据可能使弱标签失真。一个小规模检验是在固定 EEG 可视化问答任务及被试隔离划分下,比较同一基模型使用或不使用对齐监督时的答案表现与定位正确性。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注的是以 ATI 生成的中间对齐监督约束图表问答推理的机制;摘要报告了相对非对齐基线的收益,但监督构造、指标定义及公平比较条件仍需全文核对。

来源:OpenReview · State space models · openreview.net