面向少步连续扩散语言模型的表征空间 MMD

基于摘要分析。本文研究如何减少连续扩散语言模型（CDLMs）的生成步数，提出基于核的分布匹配方法：从预训练 CDLM 出发，在冻结教师诱导的表征空间中最小化 Maximum Mean Discrepancy（MMD，最大均值差异），训练直接匹配真实分布与生成分布的单步生成器。 核心机制是利用教师表征定义分布比较空间，而不是要求学生逐步复现教师生成轨迹。摘要明确说明，该方法不需要配对的教师轨迹，也不需要联合训练判别器或分数估计器。推理阶段使用 self-conditioning（自条件化）迭代修正单步预测，以适应不同推理预算；因此，单步生成器的训练设定不意味着所有评估都只执行一步推理。核函数、表征提取位置、MMD 估计方式及自条件化具体实现尚未验证。 作者报告，将方法应用于 Embedded Language Flows（ELF）后，在无条件 OpenWebText 生成和条件 GSM8K 数学推理任务上优于既有少步 CDLM 方法。摘要未提供指标、数值、对照方法名称、数据划分或各方法的推理预算，因此尚不能判断收益幅度、计算成本及比较条件。实验协议、消融及统计信息尚未验证；复现还需核对预训练教师、训练数据与资源需求。 平台推测（待验证）：若目标是压缩已有的连续扩散 EEG 生成模型，冻结教师表征上的 MMD 可作为减少采样步数的候选训练机制，但原论文研究的是语言生成，不是 EEG 解码或 BCI。可复用的是核分布匹配与自条件化思路，需改造的是 EEG 表征教师、生成输出及条件输入。低信噪比、被试差异、通道配置变化和小样本下的分布估计误差，可能使表征匹配无法保留任务相关信息。一个可检验的小实验是在固定被试与会话划分、相同生成预算下，比较该方法与原多步教师及少步基线的信号统计一致性和下游任务表现。相关 EEG 工作尚未检索确认。