跳到正文
arXiv · 多模态与生成机制· Yuyan Zhou; Zeyuan Yang; Yuxuan Song; Zhicheng Cai; Hongli Yu; Weiying Ma; Hao Zhou; James Kwok·· 4 天前精选AI 评分77

LED:通过前瞻编辑改进掩码扩散语言模型

LED: Improving Masked Diffusion Language Models by Lookahead Editing

AI 导读

基于摘要分析。本文研究扩散大语言模型中优化难度与计算表达能力的权衡,提出 Lookahead Editing(LED):在掩码扩散解码中加入可重写的提议状态,在正式提交 token 前反复修订未来预测,以保留简单的掩码转移机制并增强迭代修订能力。研究对象是非自回归文本生成,并非 EEG 或 BCI 解码。 作者的理论分析认为,masked diffusion models(MDMs)因采用基于掩码的转移调度而更易优化,但计算表达能力较低;uniform diffusion models(UDMs)允许迭代修改状态、表达能力更强,却更难训练。LED 在每个解码步骤中先执行多次 lookahead 更新,细化提议状态中的未来预测,再将 token 提交到掩码序列。其关键区别在于增加提交前的可重写状态,而不是直接改用 UDM 的转移机制;相应收益需要额外计算。 作者分别微调 Qwen2.5-7B 和 Qwen3-8B,得到 LED-7B 与 LED-8B。作者报告,在八个基准上,LED SFT 相较标准 MDM SFT 的平均表现分别提升 11.4 和 7.7 个点;摘要未列出具体基准、指标及平均方式,不能将这些数值直接解释为 Accuracy 的百分点提升。作者还报告,仅使用 SFT 的 LED-8B 超过经过持续预训练、监督微调与强化学习的 LLaDA2.1-16B Q-mode,但摘要不足以核对该比较的任务范围与推理预算。 尚需通过全文核对理论结论的成立条件、提议状态的更新与提交规则、训练目标、lookahead 次数,以及性能与计算开销的关系。实验协议、消融及统计信息尚未验证。材料未提供神经信号上的机制验证,不能据此推断 EEG 或 BCI 有效性;已有 EEG 相关工作尚未检索确认。

阅读价值

值得关注其通过可重写提议状态增强 masked diffusion 解码表达能力的机制,但性能收益与额外推理计算的权衡仍需结合完整评估协议核对。

来源:arXiv · 多模态与生成机制 · arxiv.org