跳到正文
OpenReview · State space models·· 2026-09-09精选AI 评分73

HiUni:在共享视觉空间中协调理解与生成

HiUni: Harmonizing Understanding and Generation in Shared Visual Space

AI 导读

基于摘要分析。HiUni 研究统一多模态模型(UMMs)能否直接由预训练 VLM 扩展而来,在高度共享视觉表征与主干计算的同时支持视觉理解、图像生成和编辑。其核心贡献是为两类能力复用同一个与语言对齐的 ViT 和 dense Transformer backbone,将任务特定计算限制在输出端。 该设计面临两个问题:直接在像素空间生成难以优化;预训练 VLM 的视觉压缩与语义抽象可能丢失合成所需的精细空间信息。HiUni 为此引入面向直接像素空间优化的 Pixel Diffusion Head,并通过轻量 HiGate pathway 在接近输出阶段提供细粒度空间细节。摘要未说明具体扩散目标、HiGate 的实现、训练阶段及参数更新范围,这些内容尚未验证。 作者报告,在摘要所述实验中,HiUni 的平均理解得分与原预训练 VLM 相近,同时在图像生成和编辑上获得具有竞争力的表现;作者还报告,受控比较支持单一 dense backbone 在不引入任务特定主干计算的情况下承担两类能力。摘要未提供数据集、评估指标、分数、对照模型或数据划分,因此不能量化性能差异,也不能据此断言达到 SOTA。实验协议、消融及统计信息尚未验证。 论文的主要研究对象是视觉多模态理解与生成,并非 EEG 或 BCI。共享语义主干与输出侧细节补偿是可关注的架构思路,但现有材料未建立其与神经信号建模的具体对应关系,不能据此推断 BCI 有效性。复现前需核对所用预训练 VLM、训练数据与算力、输出模块结构,以及理解能力保持和生成质量之间的权衡;摘要未提供代码或权重信息。

阅读价值

值得关注其将任务特定计算限制在输出端的统一建模设计,以及检验单一共享 dense Transformer backbone 能否兼顾视觉理解与生成的受控对照;具体性能与复现条件尚未验证。

来源:OpenReview · State space models · openreview.net