面向并行掩码扩散的查询高效拒绝采样

基于摘要分析。本文研究掩码扩散模型（MDMs）并行生成多个 token 时，独立采样忽略 token 间相关性所造成的输出偏差，提出 Single-Increment Rejection Sampler（SIRS），以降低拒绝采样校正所需的 score 查询成本。 摘要所述的既有方法将对数接受概率分解为 token 级项之和，但评估时每个待揭示 token 都需要一次 score 查询。SIRS 随机抽取一个增量，以一次查询估计对数接受概率，再利用改编的 Bernoulli factory，将泊松分布数量的截断估计转化为接受或拒绝决策。因此，“一次查询”对应单个增量估计，并不意味着完整采样过程只需一次查询。 每次查询还会返回当前块中其余全部 token 的条件分布。SIRS 利用这些信息，对增量在其余 token 上取平均，进行 Rao–Blackwell 化；作者称这无需额外查询，并可减少截断。作者报告，数据分布与 SIRS 输出分布之间的 KL 散度可由截断项与模型训练误差之和控制；在 score 精确的前提下，普通并行解码承担完整的块内依赖代价，而 SIRS 仅承担超出截断范围的部分。这是摘要中的理论结论，不能直接等同于实测加速或质量提升。 材料未提供实验任务、数据集、模型规模、查询次数、运行时间或生成质量指标，实验协议、消融及统计信息尚未验证。阅读全文时需核对截断范围的选择、理论界的适用条件，以及随机查询开销与实际运行时间的关系。本文主要对象是离散 token 的并行生成，摘要未建立与 EEG 或 BCI 的具体机制对应，不能据此推断其在神经信号任务上的有效性。