寄存器 token 对像素空间 Diffusion Transformers 很重要

基于摘要分析。本文研究 register tokens 是否有益于像素空间 Diffusion Transformers（DiTs），并提出参数高效、面向 register tokens 专门设计的双流架构。主要研究对象是图像扩散生成，而非 EEG 或 BCI。 在 Vision Transformers（ViTs）中，register tokens 可缓解高范数 patch-token 异常值造成的特征图质量下降。作者报告，所研究的 DiTs 并未呈现这类异常值，但加入 register tokens 仍能改善像素空间训练的收敛与生成质量，因此其作用不能直接套用 ViTs 中的解释。中间表征分析显示，register tokens 在高噪声条件下产生更干净的特征图；作者将其视为潜在解释，而非已确立的因果机制。 作者还观察到，近期部分像素空间 DiT 架构隐式包含类似 register 的机制，并推测这可能部分解释其经验表现。在此基础上提出的双流架构，作者报告可在适度计算与内存开销下提高生成质量。摘要未提供具体数据集、评估指标、数值、训练规模或基线配置，收益幅度及开销的适用条件尚未验证。 复现时值得核对 register tokens 的插入与交互方式、双流结构的参数分配，以及训练预算和模型规模匹配后的对照结果；还需检查特征图改善与生成收益之间的证据。实验协议、消融及统计信息尚未验证。材料未提供 EEG/BCI 实验，已有 EEG 相关工作尚未检索确认，不能据此推断该机制对神经信号建模有效。