TEncDM：理解语言模型编码空间中扩散模型的性质

基于摘要分析。该研究面向文本生成，提出 Text Encoding Diffusion Model（TEncDM），在预训练语言模型的编码空间中进行扩散建模，而非使用传统词嵌入；核心思路是利用编码中的上下文信息，并通过基于 Transformer 的解码器在 token 预测时进一步纳入上下文。 机制与评估：作者考察编码器、解码器、噪声调度器及 self-conditioning 对零样本生成的影响，并在 QQP、XSum、Wiki-Auto 三个条件文本生成任务上与既有方法比较。作者报告，TEncDM 的表现优于已有非自回归扩散模型；摘要未提供具体指标、数值、数据划分和基线配置，因此不能据此判断优势幅度或不同任务间的可比性。扩散目标、编码表示的具体形式、训练与推理流程、实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的机制假设是，在包含上下文的连续表示空间中进行扩散建模，可能比直接处理局部表示更适合 EEG 的时序依赖建模，但文本生成结果不构成 BCI 有效性的证据。迁移需要以 EEG 编码器替换语言模型编码器，并将 token 解码器改造成信号重建或任务输出模块；表示空间的尺度、噪声调度与监督方式也需重新验证。低信噪比、跨被试及通道差异、小数据规模可能使编码表示不稳定，或使扩散过程优先学习噪声。一个可证伪的小实验是在固定 EEG 数据划分和训练预算下，对比上下文编码与局部编码中的扩散重建，核对重建质量及下游任务表现是否一致改善。已有 EEG 相关工作尚未检索确认。