面向无瓶颈统一多模态模型的 Representation Forcing

基于摘要分析。本文研究统一多模态模型（UMMs）如何同时承担图像理解与生成，并摆脱对冻结、单独预训练的 VAE 的依赖。作者提出 Representation Forcing（RF），让模型先预测视觉表征，再以这些表征引导像素生成，以缓解直接从原始像素同时学习高层结构与低层细节的困难。 核心机制是使解码器先自回归预测作为中间 token 的视觉表征，再将这些 token 保留在上下文中，由同一骨干网络执行受其引导的像素扩散。这样，表征不仅是感知任务的输出，也成为生成任务的预测目标。作者认为，该设计消除了对外部生成式潜空间的需求；这不等于模型不再使用中间表征，也不能据此断言所有计算或信息瓶颈均已消除。视觉表征的来源、监督方式、损失组合及训练阶段尚未验证。 作者报告，在图像生成评估中，采用 RF 的像素空间模型可达到采用 VAE 的先进统一模型的水平；在图像理解评估中，像素空间 RF 总体优于其 VAE 变体。摘要未提供数据集、指标、划分、模型规模或计算预算，因此尚不能判断优势幅度及比较条件，实验协议、消融及统计信息尚未验证。 平台推测（待验证）：可迁移的假设是“先预测高层表征，再以其引导低层信号生成”，而非已经验证的 EEG/BCI 方法。若用于 EEG 重建，需将视觉表征 token 与像素扩散模块改造为适配多通道时序的表征及生成模块，并明确表征监督来源与数据规模要求。低信噪比、跨被试差异、通道变化及小数据可能使中间表征丢失任务相关细节。一个可检验的小实验是在固定被试内划分、骨干与训练预算下，对比直接信号生成与加入中间表征预测的生成，分别检查重建质量和下游任务信息保留情况。该假设不构成 BCI 有效性证据，已有 EEG 相关工作尚未检索确认。