跳到正文
OpenReview · State space models· Wei Pang; Xiaojie Wang·· 2019-01-01精选AI 评分75

用于问题生成的视觉对话状态跟踪

Visual Dialogue State Tracking for Question Generation

AI 导读

基于摘要分析。该研究面向 GuessWhat?! 视觉对话任务:提问者通过连续的 Yes/No 问题,在图像中定位回答者指定的对象。论文提出 visual dialogue state tracking(VDST)方法,显式跟踪对话进展,以改善问题生成并减少重复提问。 核心机制是将视觉对话状态定义为图像中候选对象的概率分布及对象表示。对象表示随候选对象分布的变化而更新;生成问题时使用基于对象差异的注意力,收到回答后,通过比较问答对与候选对象来更新对象分布。这里的状态跟踪针对视觉对话中的候选对象与交互历史,不能仅因来源栏目为 State space models,就将其视为现代序列状态空间模型。 作者报告,在 GuessWhat?! 数据集上,该方法优于已有方法并取得当时新的最优表现;相较此前最优方法,重复问题比例由超过 50% 降至 21.9%。摘要未提供该指标的具体统计口径、数据划分、对照模型名称或最终猜测成功率,因此上述结果仅适用于文中所述任务背景,实验协议、消融及统计信息尚未验证。 研究的主要对象是视觉对话问题生成,而非 EEG 解码或 BCI。其机制依赖可枚举的图像候选对象及连续问答反馈,当前材料未建立与神经信号处理瓶颈的具体对应关系,不据此推导 BCI 效果或复现实验方案;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以候选对象分布及动态对象表示跟踪对话进展的机制,以及作者报告的重复提问减少结果;该机制对 EEG/BCI 的适用性尚未验证。

来源:OpenReview · State space models · openreview.net