跳到正文
OpenReview · State space models· Hyundong Justin Cho; Andrea Madotto; Zhaojiang Lin; Khyathi Chandu; Satwik Kottur; Jing Xu; Jonathan May; Chinnadhurai Sankar·· 2023-10-08精选AI 评分75

通过示例引导问答实现持续对话状态跟踪

Continual Dialogue State Tracking via Example-Guided Question Answering

AI 导读

基于摘要分析。本文研究对话系统不断接入新服务时,对话状态跟踪(DST)模型因持续训练而在旧服务上性能下降的问题。作者将 DST 重构为一组细粒度的示例引导问答任务,以缩小服务之间的任务差异,并结合对话级记忆回放支持持续学习。 核心机制是让模型依据问题及上下文示例,从对话中提取用户目标相关信息,而非侧重记忆服务特定模式。示例由检索器提供,其训练目标是识别具有相似对话状态变化的轮次。该研究的主要对象是自然语言对话状态跟踪,并非神经信号建模或 BCI。 作者报告,参数量为 60M 的模型通过学习利用检索到的上下文示例获得显著提升;结合对话级记忆回放后,在 DST 持续学习指标上达到作者所称的最先进表现,且不依赖复杂正则化或参数扩展方法。摘要未给出数据集、服务序列、数据划分、具体指标数值及对照配置,因此这些结果的适用范围、实验协议、消融及统计信息尚未验证。 平台推测(待验证):其可迁移线索是以统一任务接口和相似变化检索辅助持续学习,而非直接复用自然语言问答模型。假设 EEG 任务具有可对齐的状态标签及连续会话数据,可考虑改造检索表示与输入接口,并复用示例检索、记忆回放机制;但低信噪比、跨被试或通道差异可能使检索相似性失效,小数据条件下也可能难以训练可靠检索器。一个可证伪的小实验是在固定 EEG 任务的跨会话顺序学习中,保持回放预算一致,对比仅回放与相似状态变化检索加回放,分别评估旧会话保持和新会话学习效果。已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其以示例引导问答统一不同服务的任务形式、结合状态变化检索与对话级记忆回放缓解持续学习遗忘的机制,但摘要不足以核实性能优势及其对 EEG 的适用性。

来源:OpenReview · State space models · openreview.net