SIRS:并行掩码扩散的查询高效拒绝采样
先了解这件事
基于摘要分析。SIRS(arXiv:2610.22238)针对掩码扩散并行生成时,独立采样忽略token相关性造成的偏差,以随机单增量、一次score查询估计对数接受概率,再通过改编的Bernoulli factory将泊松数量的截断估计转为接受或拒绝决策。“一次查询”仅指单次增量估计,并非完整采样成本;利用查询返回的其余token条件分布进行Rao–Blackwell化无需额外查询。 作者报告,数据与输出分布的KL散度受截断项及训练误差之和控制;精确score下,SIRS仅承担超出截断范围的块内依赖代价。平台分析:这不等同于实测加速或质量提升。材料未提供数据集、模型规模、实验划分、查询量、耗时及质量指标,实验效果与BCI适用性尚未验证。此次新增为摘要信息,未见可核对的版本变更。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- arXiv · 多模态与生成机制精选面向并行掩码扩散的查询高效拒绝采样
基于摘要分析。本文研究掩码扩散模型(MDMs)并行生成多个 token 时,独立采样忽略 token 间相关性所造成的输出偏差,提出 Single-Increment Rejection Sampler(SIRS),以降低拒绝采样校正所需的 score 查询成本。 摘要所述的既有方法将对数接受概率分解为 token 级项之和,但评估时每个待揭示 token 都需要一次 score 查询。SIRS 随机抽取一个增量,以一次查询估计对数接受概率,再利用改编的 Bernoulli factory,将泊松分布数量的截断估计转化为接受或拒绝决策。因此,“一次查询”对应单个增量估计,并不意味着完整采样过程只需一次查询。 每次查询还会返回当前块中其余全部 token 的条件分布。SIRS 利用这些信息,对增量在其余 token 上取平均,进行 Rao–Blackwell 化;作者称这无需额外查询,并可减少截断。作者报告,数据分布与 SIRS 输出分布之间的 KL 散度可由截断项与模型训练误差之和控制;在 score 精确的前提下,普通并行解码承担完整的块内依赖代价,而 SIRS 仅承担超出截断范围的部分。这是摘要中的理论结论,不能直接等同于实测加速或质量提升。 材料未提供实验任务、数据集、模型规模、查询次数、运行时间或生成质量指标,实验协议、消融及统计信息尚未验证。阅读全文时需核对截断范围的选择、理论界的适用条件,以及随机查询开销与实际运行时间的关系。本文主要对象是离散 token 的并行生成,摘要未建立与 EEG 或 BCI 的具体机制对应,不能据此推断其在神经信号任务上的有效性。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 710月16日 14:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。