MergeVQ：通过解耦式 token 合并与量化统一视觉生成和表征学习的框架

基于摘要分析。MergeVQ 面向视觉生成与表征学习，试图缓解基于向量量化（VQ）的掩码图像建模（MIM）在共享潜在空间中对生成质量、表征能力与效率的权衡。其核心贡献是将 token 合并纳入 VQ 生成架构，并以 MergeAR 支持更高效的第二阶段自回归生成。 机制上，预训练阶段在编码器自注意力块之后加入 token 合并模块，从潜在空间中解耦 top-k 语义，随后进行 Look-up Free Quantization（LFQ）与全局对齐；解码器通过交叉注意力恢复细粒度信息以完成重建。第二阶段的 MergeAR 则压缩 KV Cache，以提高按光栅顺序预测的效率。摘要未给出 top-k 的具体定义、合并准则、对齐目标及损失形式，相关实现尚未验证。 作者报告，在 ImageNet 上，MergeVQ 作为自回归生成模型，在视觉表征学习与图像生成任务中取得有竞争力的表现，同时具有较好的 token 效率与推理速度。摘要未提供具体指标、数据划分、对照方法、计算预算或速度测量条件，实验协议、消融及统计信息尚未验证。来源表示代码和模型将公开，不能据此认定权重或实现已经发布。 平台推测（待验证）：若 EEG 编码后的时空 token 存在可压缩的语义冗余，合并后量化、再通过交叉注意力恢复细节的机制可能为压缩表征提供参考，但图像上的效果不等于 BCI 有效。可复用部分是 token 合并与量化思路，需改造 EEG 输入编码、通道与时间位置表示及重建目标；低信噪比、跨被试差异、通道变化和小数据可能导致弱判别信号被错误合并。一个可证伪的小实验是在固定 EEG 编码器与训练预算、严格隔离被试的划分下，对比有无 token 合并时的下游分类表现、重建误差和实测推理开销，检查压缩是否损害判别信息。相关 EEG 工作尚未检索确认。