大规模流语言模型

基于摘要分析。本文研究如何将连续流语言模型扩展至十亿参数规模，以兼顾生成质量、训练数据效率与并行解码速度。作者提出 Lafa（Large flow language model），通过改造预训练自回归（AR）模型构建分块流模型，主要研究对象是文本生成，而非 EEG 或 BCI。 核心机制是在前缀上使用因果注意力，在每个块内采用双向、异步的流过程。该设计支持利用预训练 AR 模型开展训练，并在推理时结合前缀缓存与分块并行解码。作者还将学习到的流蒸馏为 flow maps，以支持单步或少步生成；具体流参数化、训练目标与蒸馏损失尚未验证。 作者报告，在少于 30B tokens 的训练数据预算下训练了 0.5B、7B 和 8B 规模的 Lafa，并在指令遵循、推理和代码生成评估中达到或超过 AR 模型的质量。摘要未给出各规模对应的数据预算、具体数据集、划分和分项指标，因此尚不能核对其相对既有扩散模型的数据效率优势。 作者将流训练保留或改善预训练 AR 能力的现象归因于多 token 预测效应，并据此提出单模型自推测解码：使用流过程生成草稿，再由同一模型以 AR 方式验证。作者报告，该方案在质量相近的比较条件下达到 AR 模型 2.54 倍的吞吐量，并优于所比较的多 token 预测和离散扩散方法；具体硬件、批量大小、生成长度、对照配置及质量判据尚未验证。 复现时需核对预训练模型、训练数据与计算预算、分块和异步更新规则、flow maps 蒸馏设置及解码测量协议。实验协议、消融及统计信息尚未验证。摘要未提供神经信号建模证据，不能据此认定其对 EEG 或 BCI 有效；已有 EEG 相关工作尚未检索确认。