Hugging Face Papers ↗ · 2026-11-19
HiUni: Harmonizing Understanding and Generation in Shared Visual Space
媒体报道 Hugging Face Papers 原文语言:中文
HiUni 提出在同一视觉语言模型中共享 ViT 与密集 Transformer 主干,以同时支持视觉理解和图像生成。为解决像素空间生成难和语义抽象丢失细节的问题,作者加入了像素扩散头和轻量 HiGate 通道。实验表明,HiUni 在理解指标上与原始模型持平,并在生成与编辑任务上取得竞争力表现,证明单一主干即可兼顾两类任务。
全文
统一的多模态模型旨在在单一框架内支持视觉理解和生成。然而,现有方法通常将视觉表示或主干计算分离,以适应这两项任务的不同需求,这限制了统一程度。在本文中,我们提出 HiUni,重新审视这一设计选择,并探讨是否可以直接将预训练的视觉语言模型扩展为具有广泛参数共享的统一模型。具体而言,HiUni 为两种能力复用相同的语言对齐 ViT 和密集 Transformer 主干,仅将任务特定的计算限制在输出侧。然而,这种设计带来了两个关键挑战:像素空间的生成难以优化,且预训练 ViT 中的语义抽象会丢失合成所需的细粒度空间细节。为了解决这些挑战,HiUni 引入了像素扩散头(Pixel Diffusion Head),专门用于像素空间优化,并提供轻量级的 HiGate 通道,在输出阶段提供细粒度空间细节。大量实验表明,HiUni 在保持与预训练 VLM 相似的平均理解得分的同时,在图像生成和编辑方面也达到了竞争性表现。受控比较和分析进一步证明,单一密集主干即可有效支持两种能力,无需任务特定的主干计算,凸显了通往统一多模态建模的更简洁路径。
查看 arXiv 页面 查看 PDF 项目页面 GitHub 7 添加到收藏
正文为 AI 译文。