采用软掩码噪声的低成本、高性能扩散语言模型

基于摘要分析。本文研究扩散模型如何更有效地建模离散文本，提出 Masked-Diffuse LM，通过语言学信息引导的软掩码前向扰动及逐扩散步骤的类别分布预测，改善连续扩散过程与离散语言数据之间的衔接。 作者指出，常用高斯噪声难以恰当地处理离散数据的扰动，而连续空间中的训练目标在文本扩散过程中可能不稳定，尤其是在高维情况下。所提方法以有策略的软掩码向文本添加扰动，并在每个扩散步骤直接预测类别分布、使用交叉熵损失。摘要未说明软掩码的具体构造、语言学信息来源、噪声调度以及训练和推理流程，这些实现细节尚未验证。 作者报告，在5项受控生成任务上，Masked-Diffuse LM 相比所比较的先进扩散模型获得更好的生成质量与效率。摘要未列出任务名称、数据集、划分方式、具体基线、指标数值或成本计量口径，因此尚不能量化优势，也不能判断效率提升来自训练还是推理阶段；实验协议、消融及统计信息尚未验证。 本文的主要对象是离散文本生成，并非 EEG 或 BCI。其可核对的阅读价值在于离散扰动设计与类别预测目标，原领域结果不能直接作为神经信号建模有效性的证据；已有 EEG 相关工作尚未检索确认。