重新思考扩散与解码的作用:用于并行语言生成的 Predictive-State Flows
Rethinking the Roles of Diffusion and Decoding: Predictive-State Flows for Parallel Language Generation
基于摘要分析。本文研究连续扩散语言模型(DLMs)中扩散先验与解码器的职责划分,提出 Predictive-State Flows(PSF):先生成高层预测信息,再由解码器完成离散 token 选择,从而减少扩散状态数量与 token 生成的串行深度。主要研究对象是文本生成,而非 EEG 或 BCI。 核心机制:作者认为,将连续潜变量近乎确定性地映射为 token,会迫使扩散先验承担细粒度离散选择,增加联合潜变量分布的建模难度。PSF 将序列划分为 K 个块,每个块的预测状态仅由其之前的上下文计算;rectified-flow 先验生成预测状态序列,随后 block-causal 解码器并行生成各块,仅在块内自回归。按摘要描述,扩散由 L 个 token 级状态缩减为 K≪L 个预测状态,token 级串行深度降为 L/K。具体状态提取、损失函数和训练流程尚未验证。 作者报告:在 OpenWebText 无条件生成评估中,197M 参数、K=8 的模型在 entropy 为 5.16 时达到 generative perplexity 22.8,每篇 1024-token 文档消耗 0.31 TFLOPs;对照 ELF-B 使用 32 个采样步骤,generative perplexity 为 24.0,计算量为 7.2 TFLOPs。对应实测运行点的 MAUVE@512 分别为 0.93 和 0.73。摘要未明确 ELF-B 对应的 entropy,不能据此认定比较严格匹配熵水平。 作者报告的受控比较显示:额外编码自身块内容的 content states,其 generative perplexity 比预测状态高 8–16%;用共享均值替换采样得到的预测状态轨迹,MAUVE@512 降低 0.11。这些结果支持作者关于潜变量职责划分重要性的解释,但完整实验协议、消融及统计信息尚未验证,代码与复现条件也尚未确认。 该机制依赖文本的上下文结构、分块方式及块内自回归生成,不能直接视为 EEG 解码方法。平台推测(待验证):高层状态与细粒度输出分工可能为神经信号生成提供概念参考,但连续、低信噪比 EEG 中是否存在适用的预测状态、如何处理被试及通道差异,仍需独立评估;已有 EEG 相关工作尚未检索确认。
值得核对其预测状态与内容状态的受控比较,以检验语言生成中潜变量的职责划分能否同时改善生成质量和计算效率,但其 EEG/BCI 适用性尚未验证。
来源:OpenReview · State space models · openreview.net