跳到正文
OpenReview · State space models· Hyundong Cho; Andrea Madotto; Zhaojiang Lin; Khyathi Raghavi Chandu; Satwik Kottur; Jing Xu; Jonathan May; Chinnadhurai Sankar·· 2023-01-01精选AI 评分74

通过示例引导问答实现持续对话状态跟踪

Continual Dialogue State Tracking via Example-Guided Question Answering

AI 导读

该研究针对对话系统持续加入新服务时,模型在已学习服务上性能下降的问题,将 Dialogue State Tracking(DST,对话状态跟踪)重构为一组细粒度的示例引导问答任务,以减小服务间任务差异并支持持续学习。基于摘要分析,研究对象是自然语言对话中的用户目标估计,并非 EEG/BCI 信号建模。 核心机制是让模型结合当前问题和给定示例,从对话中提取所需信息,减少对服务特定模式的记忆。检索器被训练为识别具有相似对话状态变化的轮次,为模型提供上下文示例;该方法进一步结合对话级记忆回放。摘要未披露具体问答构造、检索监督、训练损失及回放采样策略,不能据此推断模型结构。 作者报告,一个仅含 60M 参数的模型,通过学习利用检索得到的上下文示例获得显著提升;结合对话级记忆回放后,在 DST 持续学习指标上达到作者所称的最先进性能,且不依赖复杂正则化或参数扩展。摘要未提供数据集、服务序列、数据划分、指标名称、具体分数或基线配置,实验协议、消融及统计信息尚未验证。 平台推测(待验证):其“统一任务表达、检索相似变化、回放历史样本”的机制可作为 EEG 持续学习的概念参考,但原方法依赖自然语言问题、示例与对话状态变化,不能直接等同于神经信号上的有效方法。假设用于跨会话 EEG 解码,需要将文本检索与问答模块改造为信号表征检索和任务条件化预测,并定义可比较的状态变化或类别语义。低信噪比、被试差异和通道变化可能使检索依据失效,小数据也可能不足以训练可靠检索器。一个可检验的小实验是在固定回放预算、相同会话顺序及标签可用条件下,比较相似状态检索回放与随机回放,分别评估新会话性能和历史会话性能变化;这只是迁移假设,已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是将持续学习中的服务差异转化为示例引导的细粒度问答,并结合状态变化检索与对话级记忆回放;其效果仍需核对全文中的任务序列、回放预算和对照协议。

来源:OpenReview · State space models · openreview.net