Register tokens 对像素空间 Diffusion Transformers 的重要性

基于摘要分析。本文研究 register tokens 是否有助于像素空间 Diffusion Transformers（DiTs），主要对象是图像扩散生成，而非 EEG/BCI。作者通过中间表征分析考察其作用，并提出参数高效、面向 register 的双流架构。 在 Vision Transformers（ViTs）中，register tokens 可缓解高范数 patch-token 异常值导致的特征图质量下降。作者报告，所分析的 DiTs 并未出现这类异常值，但引入 register tokens 仍显著改善了像素空间训练的收敛与生成质量。这一区别提示，不能直接用 ViTs 中的异常值缓解机制解释 DiTs 的收益。作者进一步报告，在高噪声水平下，register tokens 对应更干净的特征图，并将其视为可能的有效性解释，而非已确立的因果机制。 作者还观察到，近期部分像素空间 DiT 架构隐式包含类似 register 的机制，认为这可能部分解释其经验表现。基于这些观察，提出的 register 专用双流架构旨在以适度计算和显存开销改善生成质量。摘要未提供具体数据集、生成指标、对照配置、参数量及开销数值；实验协议、消融及统计信息尚未验证。 平台推测（待验证）：若将这一思路用于高噪声 EEG 扩散建模，可检验额外 register tokens 是否有助于稳定中间表征，而不预设 EEG 存在相同的 token 异常现象。可复用的是 register tokens 与专用信息流设计，需改造的是时序、通道编码和噪声处理；低信噪比、通道差异与小数据可能削弱收益或增加过拟合风险。一个小规模检验是在固定数据划分和训练预算下，对比同一 EEG 扩散模型加入 register tokens 前后的生成指标及下游任务表现，并控制额外参数量。上述为迁移假设，不是论文已验证结果；已有 EEG 相关工作尚未检索确认。