二元离散扩散：以候选集承载不确定性

基于摘要分析。本文研究离散扩散如何显式表示尚未完全消解的不确定性，提出 Binary Discrete Diffusion：将序列中每个位置的噪声状态表示为候选 token 集合，而非单个 token 或掩码，使迭代去噪能够逐步缩小或调整可行选项。 核心机制是一族连续时间离散扩散过程，使用二元成员向量编码各 token 是否属于候选集，并通过添加、移除候选项改变状态。这里“二元”指集合成员关系的表示，不意味着原始任务只有两个类别。相较于一次腐化便抹去 token 身份的掩码与均匀扩散，该机制旨在让信息逐步丢失和恢复，并由扩散状态本身承载部分不确定性。 作者报告，在 Sudoku-Extreme、Boxoban 和图着色任务上，对称形式的 Binary Discrete Diffusion 在匹配架构、控制训练、采样及调参预算的条件下，持续优于经过充分调参的掩码与均匀扩散基线，且最困难实例上的增益最大；在 Text8、TinyStories、OpenWebText 语言建模任务上仍具有竞争力。摘要未提供具体指标与增益数值，不能据此量化优势。 作者据此认为，候选集是迭代推理的有效中间表示，腐化核的选择可能实质性改变反向模型学到的计算方式。具体腐化与反向转移规则、训练目标、数据划分、消融及统计信息尚未验证。本文的主要对象是离散逻辑、规划与语言建模，并非 EEG 或 BCI；其在这些神经信号任务上的适用性尚未验证，已有 EEG 相关工作尚未检索确认。