扩散语言模型中的多流残差计算

基于摘要分析。本文研究扩散语言模型在并行重建掩码 token 时，如何同时保留可见上下文并更新掩码位置的预测；核心贡献是在 Transformer 中引入贯穿网络深度的多条残差流及流间自适应路由，并通过干预分析解释其作用。 标准残差连接以单条流承载可见证据与持续变化的掩码预测。作者报告，相较标准残差连接，采用两条残差流的模型在预训练重建任务上，验证集重建困惑度降低 5.71%，外部语料上的平均重建困惑度降低 5.13%。这些是困惑度的相对降幅，不能解释为生成准确率提升；具体语料、数据划分、模型规模及训练预算尚未验证。 作者观察到，即使未预设角色，可见位置与掩码位置也会学出不同的路由模式。作者报告，因果干预显示这种区分组织了读取与写入路由，而各角色内部、针对具体 token 的写入强度仍然重要。受此启发，使用角色条件路由训练的模型取得了增加第二条残差流所带来验证集收益的一半。状态干预进一步支持作者的机制解释：额外残差流保存早期 token 表征以供后续复用，同时让掩码位置持续累积证据。作者报告，该机制在更大模型规模下再次出现，但摘要未给出对应规模与数值。路由实现、损失形式、干预协议、消融及统计信息尚未验证。 平台推测（待验证）：这一机制可作为 EEG 掩码建模中分离可见信号上下文与重建状态的假设，而非已证实的 BCI 方法。原研究依赖离散 token、可见与掩码位置划分，以及掩码重建监督；迁移时可复用持久残差流与路由思想，但需适配连续 EEG 表征及时间、通道掩码。低信噪比可能使保留流持续携带噪声，跨被试差异、通道配置变化及小数据也可能削弱路由稳定性。一个可证伪的小实验是，在固定数据划分、掩码协议并尽量匹配参数量与训练预算的条件下，对比单流与双流 EEG 重建模型，再通过状态干预检验早期表征保留是否确实贡献于重建收益。已有 EEG 相关工作尚未检索确认。