去噪估计是一个状态变量:少步 Flow Language Models 的联合细化
The Denoising Estimate Is a State Variable: Joint Refinement for Few-Step Flow Language Models
基于摘要分析。本文研究 Flow Language Models(FLMs)的大步长采样误差,提出 AIM-FLM,将去噪得到的干净表示估计与该估计所诱导的潜在状态联合细化,以改善少步文本生成的质量与计算量权衡。 常用一阶采样器在当前状态调用一次去噪器,并在整次更新中固定其估计;但估计变化会改变输运轨迹,进而改变后续预测所处的状态。AIM-FLM 从候选估计出发,利用流的闭式仿射输运构造中间状态,在该状态重新调用去噪器,通过 Picard 迭代逼近联合固定点。在线性插值调度下,该固定点对应隐式中点步;求解直接在去噪估计空间进行,使干净表示可在端点解码,并作为反馈保留至后续求解步或蒸馏跳步。 作者给出的理论结论具有条件性:局部压缩条件下迭代几何收敛;满足间隔条件时,解码 token 可在有限次迭代后稳定,而不要求连续估计精确收敛。摘要还说明,该耦合可无需重训练地用于预训练的确定性与随机采样器,也可通过跨步传递估计保留在 flow-map distillation 中,或纳入去噪场与跳步模型的联合训练。 作者报告,在多个 FLM 骨干上,无需重训练的 AIM-FLM 用 17 次去噪器评估,在生成困惑度上优于 32-NFE ELF-B 采样器,同时熵相近、重复更少;联合训练后,用 12 次评估也优于同一基线。摘要未提供具体骨干、数据集、生成长度、困惑度数值及完整计算成本,不能据此量化总体加速。实验协议、消融、统计信息与复现条件尚未验证。 原论文对象是文本生成,而非 EEG 解码或 BCI。联合细化估计与状态的机制是否适用于神经信号生成,仍需独立评估;已有 EEG 相关工作尚未检索确认。
值得阅读其在去噪估计空间求解联合固定点的采样机制,以及作者报告的少步生成质量与计算量权衡;具体评估协议和复现条件尚未验证。
来源:OpenReview · State space models · openreview.net