Register tokens 对像素空间 Diffusion Transformers 的重要性

基于摘要分析。本文研究 register tokens 是否有益于 Diffusion Transformers（DiTs），重点比较像素空间与潜在空间生成，并提出 Register Guidance，以增强改善视觉结构与连贯性的 register tokens 的贡献。研究对象是图像扩散生成，而非 EEG 解码或 BCI。 在 Vision Transformers（ViTs）中，高范数 patch-token 异常值会影响特征图质量，register tokens 可缓解这一问题。作者报告，所研究的 DiTs 并未出现这类异常值，却仍能从 registers 中获益，且在像素空间 DiTs 中的作用比潜在空间 DiTs 更明显。这意味着不能直接用 ViTs 中抑制异常 token 的解释概括其在 DiTs 中的作用。 通过分析中间表征，作者报告 register tokens 在高噪声条件下产生了更干净的特征图，并将其作为像素空间生成受益的可能解释，而非已确立的因果机制。作者还观察到，近期部分像素空间 DiT 架构隐含了类似 register 的机制，认为这可能部分解释其经验表现。Register Guidance 据此增强相关 register tokens 的贡献，但摘要未给出具体实现、训练或推理改动及计算开销。 材料未提供数据集、模型规模、评估指标、定量增益或对照配置，实验协议、消融及统计信息尚未验证。阅读全文时可重点核对像素空间与潜在空间比较的条件、高噪声特征图质量的衡量方式，以及 Register Guidance 相对原始 registers 的独立收益。摘要未建立与 EEG 信号建模的具体对应关系，不能据此推断 BCI 有效性；已有 EEG 相关工作尚未检索确认。