采用软掩码噪声的更低成本、更优扩散语言模型

该研究针对扩散模型处理离散文本时的噪声适配与训练稳定性问题，提出 Masked-Diffuse LM，以语言学信息引导的软掩码扰动和逐步类别分布预测连接连续空间与离散空间。基于摘要分析，未取得论文全文。 核心机制：作者指出，常用高斯噪声难以恰当地处理离散文本的扰动，连续空间中的训练目标在高维文本扩散过程中也存在稳定性问题。Masked-Diffuse LM 在前向过程中策略性地对文本施加软掩码，并在每个扩散步骤直接预测类别分布，使用交叉熵损失训练。摘要未说明软掩码的具体定义、语言学信息的来源、扰动调度或反向生成流程，不能据此推断模型结构与实现细节。 结果与证据边界：作者报告，在 5 项受控生成任务中，Masked-Diffuse LM 相比其所称的最先进扩散模型具有更好的生成质量与效率，并称训练成本更低。摘要没有提供任务名称、数据集、数据划分、对照模型、质量指标或成本测量方式，因此尚不能量化优势，也不能区分效率改善来自训练还是生成阶段。实验协议、消融及统计信息尚未验证；复现还需核对软掩码实现、扩散步数、训练配置与计算成本口径。 与 BCI 的关系：原论文研究对象是离散语言生成，而非 EEG 解码或 BCI。平台推测（待验证）：若 EEG 下游任务涉及离散事件序列或符号输出，软掩码扰动与逐步类别预测可能提供方法参考；这一假设依赖可靠的离散表示与监督，不能直接推广到连续 EEG 波形。软掩码及类别预测目标可能可复用，但语言学先验、输入表示与噪声机制需要改造；低信噪比、跨被试与跨通道差异及小数据条件可能使离散化误差放大。一个可检验的小实验是在固定的离散 EEG 事件序列任务与数据划分下，仅替换前向扰动方式，比较软掩码与既定基线的输出质量及计算成本。已有 EEG 相关工作尚未检索确认。