ALoDLM:自适应循环扩散语言模型
ALoDLM: Adaptively Looped Diffusion Language Models
基于摘要分析。该研究针对扩散语言模型(DLMs)并行生成速度快、但生成质量落后于规模相近自回归(AR)模型的问题,提出 ALoDLM,以 token 自适应潜在递归替代统一计算深度。作者将质量差距归因于计算量与预测难度不匹配:部分未知 token 容易预测,另一些则需要更多计算,而既有 DLMs 在每个去噪步骤中对未知位置采用统一深度。 在每个去噪步骤,ALoDLM 迭代细化潜在表示,并按 token 难度分配计算。已可确定的 token 作为离散上下文反馈,尚未确定的 token 则保留潜在状态,继续通过递归计算细化。为联合学习 token 预测与计算分配,作者将逐 token 的计算调度建模为潜变量,并推导条件负证据下界(NELBO)。具体难度判定、提交规则、递归终止条件及损失实现尚未验证。 作者报告,在 1.7B 与 8B 参数规模、涵盖十一项基准的评估中,ALoDLM 在两种规模下的平均基准分数均超过所有受评估 DLMs 及对应 AR 基线;在优化推理引擎下保留快速并行解码,并在受评估模型中取得较好的质量—效率权衡。摘要未提供基准名称、具体分数、数据划分、推理预算或速度测量条件,不能据此量化提升或外推到其他任务。实验协议、消融及统计信息尚未验证。 平台推测(待验证):假设 EEG 掩码建模中不同时间片或通道的重建难度存在稳定差异,按位置分配递归计算可能减少对容易位置的重复计算。原方法依赖部分可观测的离散 token 序列与迭代去噪;迁移时可考虑复用潜在递归与计算调度,但需改造连续信号预测目标、位置表示及离散提交机制。低信噪比可能使噪声被误判为高难度,被试和通道差异也可能破坏调度泛化,小数据条件下联合学习调度存在不稳定风险。可在固定 EEG 数据划分、相同骨干与总计算预算下,对比统一递归和自适应递归的掩码重建误差及下游解码表现,检验额外计算是否真正改善有效信号恢复。已有相关 EEG 工作尚未检索确认。
值得关注其以 token 级潜在递归联合学习预测与计算分配的机制,以及作者报告的质量—效率权衡;具体收益仍需结合基准协议、计算预算与消融核对。
来源:arXiv · 多模态与生成机制 · arxiv.org