BERT无需扩散训练的迭代条件生成

基于摘要分析。本文研究 BERT 等掩码语言模型（MLM）能否在不进行扩散训练的情况下实现条件生成，提出反复预测掩码 token、按余弦调度逐步确定高置信度预测的解码流程。主要研究对象是文本生成，而非 EEG 或 BCI。 机制上，该流程不需要扩散时间步或反向扩散目标。作者将生成过程拆分为三个部分：预训练提供表征与去噪算子，任务适配决定生成内容，迭代确定规则提供解码过程。作者报告，冻结 BERT 在掩码比例为 15%、45%、60% 时，分别重建 61.0%、37.5%、24.4% 的被掩码 token；随着可见上下文减少，生成质量明显下降，说明去噪能力不等于脱离上下文的生成能力。 在任务定向生成中，作者报告，冻结 BERT 在 ARC-Easy、MMLU 上的得分分别为 11.0%、4.2%，完整 MLM 适配后分别达到 28.2%、24.6%；参数高效适配显著减少了 unmatched outputs，但其定义和具体数量尚未验证。在开放式条件生成中，完整 MLM 适配在 QQP 上的 BLEU/ROUGE-L 为 0.163/0.583，在 Quasar-T 上为 0.107/0.327。作者称这些结果与已发表的扩散训练 BERT 模型处于大致相同的性能范围，但是否采用一致的数据划分、计算预算及解码设置仍需核对。采用同一生成接口的 RoBERTa-large 在 ARC-Easy、MMLU 上分别达到 44.2%、33.8%。这些结果仅支持作者在所研究设置下关于显式扩散训练并非必要条件的结论。 平台推测（待验证）：若 EEG 已被编码为可掩码的离散 token，该机制可作为条件补全的候选基线，可复用置信度驱动的迭代解码，但需改造信号编码器与任务适配流程。低信噪比、跨被试分布变化及置信度失准可能导致错误过早固定。一个可证伪的小实验是在固定被试内划分、相同 EEG token 编码器和训练预算下，对比单次掩码补全与迭代补全的重建误差及下游任务表现。该设想不构成已验证的 BCI 效果，相关 EEG 工作尚未检索确认；全文实验协议、消融及统计信息尚未验证。