轨迹触发的稀疏协同解码

基于摘要分析。本文研究语言模型生成中的稀疏协同解码：由草稿模型生成大多数 token，仅在需要时调用目标模型生成短纠正片段，核心问题是如何决定调用时机。与推测解码反复调用目标模型验证草稿 token 不同，该方法依据草稿置信度路径的聚合轨迹形状学习触发策略。 作者报告，熵、负对数似然、logit margin、top-k mass 及速度特征等局部指标，对生成失败的预测接近随机，AUC 为 0.50–0.53；使用置信度轨迹形状聚合特征的轻量逻辑预测器，AUC 达到 0.86，训练仅依赖草稿正确性标签。摘要未交代该预测评估的数据划分及轨迹特征定义，相关协议尚未验证。方法体现了触发时机的权衡：早期调用更可能改变后续生成，但可用证据较弱；晚期调用证据较强，却较难纠正已形成的生成轨迹。 在线评估中，作者报告，在 GSM8K 的五组草稿模型—目标模型配对上，相对最佳开环调用日程，Accuracy 提高 5.3–20.0 个百分点；在 MATH-500 上，早期预测能力与目标模型能力均适配时提高 7.0–13.5 个百分点，但任一条件不足时会出现性能下降；在 StrategyQA 上，相对开环日程提高 5.0–8.3 个百分点。具体模型配对、调用预算、延迟、计算成本及统计信息尚未验证，不能仅凭准确率增益认定整体推理更高效。 平台推测（待验证）：其可供 EEG 在线系统借鉴的是“依据连续置信度轨迹触发高成本纠正”的调度思想，而非语言解码器本身。假设轻量 EEG 解码器的置信度轨迹能预示错误，可保留轨迹特征与触发器，将目标模型纠正改为高成本解码器复核；但 EEG 的低信噪比、跨被试置信度漂移及有限标注可能削弱可预测性。可在固定被试划分与相同复核预算下，对比轨迹触发、单时点置信度阈值与固定周期复核，检验错误预测及最终解码表现。已有 EEG 相关工作尚未检索确认。