面向无瓶颈统一多模态模型的 Representation Forcing

该研究针对统一多模态模型（UMMs）依赖冻结、单独预训练的 VAE 进行图像生成所形成的结构性瓶颈，提出 Representation Forcing（RF），让模型先预测视觉表征，再生成像素，以同时支持图像理解与生成。以下基于摘要分析，未取得论文全文。 核心机制是要求解码器先以自回归方式预测作为中间 token 的视觉表征，再将这些 token 保留在上下文中，由同一骨干利用它们引导像素扩散。其关键变化是把原本用于感知输出的表征转化为生成目标，使模型不再依赖外部生成潜空间。摘要将直接移除 VAE 后的质量差距归因于模型需要从原始像素同时学习高层结构与低层细节，RF 则通过中间表征为这一过程提供引导。表征来源、监督构造、训练损失及扩散实现尚未验证。 作者报告，在摘要所述图像生成评估中，采用 RF 的像素空间模型达到与最先进 VAE 型统一模型相当的表现；在图像理解评估中，像素空间 RF 通常优于其 VAE 版本。摘要未提供数据集、数据划分、具体基线、指标或数值，因此这些结论的适用范围、实验协议、消融及统计信息尚未验证。“无瓶颈”主要针对所述外部 VAE 依赖，不宜理解为消除了所有建模限制。 平台推测（待验证）：“先生成高层表征、再条件生成低层信号”的机制，可作为 EEG 条件信号重建的研究假设，而非已验证的 BCI 方法。可复用的是中间表征预测与条件生成流程；视觉表征、像素扩散及其监督目标均需改造为 EEG 时序与通道结构。低信噪比、跨被试差异和小数据可能使预测表征丢失任务信息，或使后续生成放大误差。一个可证伪的小实验是在相同 EEG 数据划分与训练预算下，对比直接信号生成和加入预测中间表征的生成，分别检验重建质量与任务信息保留情况。相关 EEG 工作尚未检索确认。