利用状态差异奖励学习选择性对话状态更新

基于摘要分析。研究关注对话状态更新中“修改应改信息、保留未变信息”的双重要求，提出按状态转移角色组织奖励，并通过 Group Relative Policy Optimization（GRPO）训练模型生成状态更新补丁。其主要研究对象是结构化对话状态更新，而非 EEG 或 BCI。 方法将反馈分为目标值采纳、旧值排除和未变槽位保留三个部分；各部分由相邻的标注状态计算，分别归一化后合成为标量奖励。其设计动机是：精确匹配奖励不给部分正确的更新以反馈，而逐槽位平均会让更新与保留的相对权重受槽位数量影响。该训练方式不需要额外的词元级修正范围标注，但仍依赖相邻状态标注。 评估采用 MultiWOZ 2.4 与 Schema-Guided Dialogue（SGD）中抽取的独立轮次，给定真实上一状态进行离线更新。作者报告，4B 模型在涉及多个槽位的更新上，分别取得 66.44% 和 82.48% 的 joint goal accuracy（JGA），比各自最佳已评估强化学习基线高 9.73 和 0.81 个百分点。作者还报告，JGA 改善在 MultiWOZ 的五个骨干模型及 SGD 的五种 schema 名称变体中均成立。相较精确匹配奖励，该方法同时改善 JGA 与保留表现；与加权模糊匹配奖励相比，取舍则依赖数据集及骨干模型。 这些结果支持进一步核对按状态转移角色分解反馈的价值，但不能据此推断存在上一状态预测误差时的连续对话表现。具体数据划分、多槽位子集构成、奖励聚合细节、保留指标定义、消融及统计信息尚未验证；摘要也未提供足以建立 EEG/BCI 迁移路径的证据。