利用自回归后训练权重增强扩散语言模型

基于摘要分析。本文研究由预训练自回归（AR）语言模型转换而来的扩散语言模型（dLLMs），能否继续利用其 AR 原模型已有的后训练成果。作者提出无需额外训练的 A2D 框架，通过复用 AR 后训练权重更新增强 diffusion 基础模型，并将 AR 与 diffusion 后训练更新组合，以进一步增强已经后训练的 diffusion 模型。 核心机制是权重更新迁移与组合，而非重新执行后训练。作者报告，尽管 AR 到 diffusion 的转换改变了模型，直接向 diffusion 基础模型加入 AR 后训练权重更新仍然有效，其表现接近直接进行 diffusion 后训练的模型。摘要未给出更新提取、参数匹配、组合系数或兼容性约束，具体实现尚未验证。 作者报告，AR 与 diffusion 后训练更新在权重空间中近乎正交，却在 diffusion 模型中引起明显更一致的表示变化；两类更新也具有互补性，组合后可保留两种后训练方式的收益并进一步提升表现。这提供了观察参数变化与表示变化关系的具体切入点，但摘要不足以判断表示对齐的测量方法、观察范围及其与性能增益的因果关系。 评估涵盖 Dream、DreamReasoner、DiffuCoder、Dream-Coder、Nemotron-Labs-Diffusion 和 DiffusionGemma。作者报告，在所评估模型和任务中，A2D 利用监督微调及强化学习产生的后训练更新，改善了指令遵循、数学推理和代码能力，且不增加额外训练或推理时计算。摘要未提供具体数据集、划分、指标、分数与基线配置；实验协议、消融及统计信息尚未验证，不能据此量化提升幅度。 本文的主要对象是语言模型后训练资源复用，并非神经信号建模。其机制依赖 AR 原模型与转换后 diffusion 模型之间可迁移的参数关系，不能直接外推到 EEG/BCI。摘要未提供对应神经信号任务的验证，已有 EEG 相关工作尚未检索确认。复现时应优先核对原始与转换模型的参数对应、后训练更新来源、权重组合规则及各任务的评估设置。