在生成中显式设计表征:Diffusion Transformers 中的跨视图 class-token 对齐
Representation by Design in Generation: Cross-View Class-Token Alignment in Diffusion Transformers
基于摘要分析。该研究以图像生成与表征学习为对象,探索能否在不牺牲生成质量的前提下,直接增强扩散模型的语义表征。作者在 SelfFlow 的 flow matching 与自监督 patch 对齐基础上,引入跨视图 class-token 对齐,将表征能力作为与生成能力共同优化的目标。 机制上,方法为每幅图像构造两个独立加噪、采用双时间步设置的观测,将每个观测的 student class-token 表征与另一观测的停止梯度 EMA teacher 目标对齐,并与原有 flow-matching 和局部 patch 目标联合优化。其设计受 DINO、iBOT 启发;新增目标仅作用于 class token,但作者报告 class-token 与 patch 表征均得到改善。具体损失形式、时间步采样及 teacher 更新设置尚未验证。 作者报告,相比匹配的双视图基线,ImageNet 线性探测 Accuracy 在使用 class token 时提高 9.4 个百分点,在使用均值池化 patch tokens 时提高 10.1 个百分点;冻结骨干网络的 VOC2012 分割评估提高 3.6 mIoU,同时保持相近的 ImageNet 生成 FID。在文本到图像训练中,作者报告同一目标在匹配检查点下将生成 FID 从 2.52 降至 2.37。摘要未提供完整数据划分、模型规模和训练预算,实验协议、消融及统计信息尚未验证。 平台推测(待验证):该机制可能对应 EEG 自监督预训练中全局语义与局部时序表征协同学习的问题,但依赖同一样本的两个视图保留任务相关语义。可复用 student–EMA teacher 跨视图对齐,需改造 EEG token 化、噪声与时间窗增强,并验证低信噪比、通道差异及小数据下的稳定性;过强增强可能破坏 ERP 时序或频谱线索。一个可证伪的小实验是在固定 EEG 数据划分、骨干和训练预算下,仅切换是否加入全局 token 对齐,同时比较冻结编码器的全局与局部表征线性探测结果。已有 EEG 相关工作尚未检索确认。
值得核对其匹配双视图基线下的表征增益,以及仅对 class token 施加跨视图对齐为何能同时改善 patch 表征;这些结果尚不能视为 EEG 或 BCI 有效性的证据。
来源:OpenReview · Representation learning · openreview.net