跳到正文
OpenReview · State space models· Qi Zhu; Bing Li; Fei Mi; Xiaoyan Zhu; Minlie Huang·· 2022-01-01精选AI 评分74

面向对话状态跟踪的持续提示调优

Continual Prompt Tuning for Dialog State Tracking

AI 导读

基于摘要分析。本文研究对话状态跟踪(Dialog State Tracking)模型在持续学习新领域或任务时的灾难性遗忘问题,提出参数高效的 Continual Prompt Tuning 框架,以任务专属提示参数保留既有能力,并促进任务间知识迁移。研究对象是对话系统,而非神经信号解码;标题中的 state tracking 也不表示本文提出了 state space model。 核心机制是冻结预训练骨干模型,仅为每个任务学习并存储少量 prompt token 的嵌入。为利用先前任务的知识,作者提出 continual prompt initialization、query fusion 和 memory replay;另以 memory-guided 技术利用后续任务知识,实现双向迁移。摘要未披露这些模块的具体计算方式、损失函数、记忆样本选择及训练与推理流程,尚不能判断其复现细节和资源开销。 作者报告,在对话状态跟踪的持续学习实验中,该方法相较于作者所称的先进基线表现出有效性与效率优势。摘要未给出数据集、任务顺序、划分协议、基线名称或具体指标数值;实验协议、消融及统计信息尚未验证,也不能据此量化遗忘抑制或迁移收益。 平台推测(待验证):可检验的迁移假设是,在具有可供提示调优的预训练 EEG 骨干、明确任务边界及逐任务监督数据的条件下,冻结骨干并保存任务专属提示参数,可能帮助管理跨会话或跨任务更新。可复用的是参数隔离与记忆回放思路;需改造的是 EEG 输入侧提示注入、任务选择以及回放样本组织。低信噪比、被试与通道差异可能使冻结特征失效,小数据也可能导致提示过拟合。一个小规模验证可固定 EEG 骨干和数据划分,按会话顺序比较任务专属提示、共享提示与全量微调,在每次更新后复测旧会话,并记录新会话表现、旧会话性能变化及可训练参数量。该实验仅为平台提出的假设检验,不是论文已验证结果;已有 EEG 相关工作尚未检索确认。

阅读价值

值得阅读的是冻结预训练骨干、按任务保存少量 prompt 嵌入以隔离遗忘,并结合双向知识迁移的持续学习机制;其在 EEG/BCI 中的适用性尚未验证。

来源:OpenReview · State space models · openreview.net