基于 Transformer 自回归流的连续空间灵活语言建模

基于摘要分析。本文研究语言建模，探索离散 token、单向上下文与单次解码之外的建模方式：将语言表示转入连续潜在空间，并使用基于 Transformer 的自回归归一化流进行建模，支持更灵活的上下文组织与生成过程。 核心机制是堆叠方向交替的自回归变换，以捕获全局双向上下文；框架同时支持具有灵活 token 分块大小的块级生成，以及分层、多轮生成。作者还提出基于混合分布的耦合变换，用于刻画由离散数据形成的潜在空间中的复杂依赖，并讨论该框架与传统离散自回归模型的理论联系。摘要未给出离散 token 到连续表示的具体构造、耦合变换公式、训练目标细节及生成调度，这些内容尚未验证。 作者报告，在语言建模基准上的广泛实验显示了较强的似然表现及灵活建模能力。但材料未提供基准名称、数据划分、对照模型、指标定义或具体数值，无法据此判断性能优势的幅度，也不能确定多轮生成与分块生成的计算开销。实验协议、消融及统计信息尚未验证；复现所需的实现、配置与资源条件也需查阅全文确认。 本文的主要对象是语言建模，而非 EEG 或 BCI；来源栏目中的 State space models 不能替代摘要对实际方法的描述。当前材料不足以建立其连续潜在表示与神经信号解码之间的具体机制对应，不据此推断 BCI 有效性。相关 EEG 工作尚未检索确认。