统一多模态模型有个长期没解决的问题：理解和生成用的不是同一套视觉表示。

理解侧通常用 ViT 提取语义特征，生成侧用 VAE 提供潜变量。结果是同一张图要以两种 token 进入上下文，视觉上下文被拉长，这套双流接口也和 VLM 常用的单一视觉流不一致，很难直接沿用成熟的预训练流程。

英伟达与滑铁卢大学提出的 PixelUMM，直接把这个前提拆了：不在潜空间做，回到像素。

一、怎么统一的

PixelUMM 把图像切成空间 patch，把视频切成时空 tubelet，理解和生成都用这种表示。

接入方式极简：只用一层线性投影，就把原始像素接进共享的多模态主干网络。没有 VAE，也没有独立的 ViT 编码器。

主干采用 Mixture-of-Transformers 架构——理解与生成各有一套参数，但共享同一个注意力。模型以自回归方式预测文本，同时把像素空间的 flow matching 扩展到视频，用来生成图像和视频。

二、解决了什么

第一，视觉上下文变短了。同一份内容不再需要用两种 token 各表示一遍。

第二，接口统一了。理解和生成共用一套视觉流，意味着可以直接复用 VLM 的预训练成果，不用为生成侧单独设计一套训练流程。

第三，视频的时间维度有了统一处理方式。此前视频生成依赖 3D VAE，视频理解用图像编码器逐帧处理，两者表示时间的方式不同，很难拼在一起。

三、代价是什么

像素空间建模的代价是计算量。潜空间压缩的意义本来就是减少 token 数量，回到像素意味着序列变长，训练和推理的开销都会上升。

论文里没有回避这一点，但从工程角度看，这类模型的实用性取决于能不能在可接受的算力下跑到可用分辨率。开源权重给了验证的机会，但要真正用于生产，还需要看推理优化能做到什么程度。

四、对开发者的意义

项目主页、论文、代码和权重都已经公开（nv-tlabs.github.io/PixelUMM、github.com/nv-tlabs/PixelUMM、huggingface.co/nvidia/PixelUMM）。

值得关注的方向有三个：

一是统一模型能不能在理解任务上不掉点。很多统一模型为了兼顾生成，理解能力会打折。
二是视频生成的时序一致性。像素空间的 flow matching 在长视频上表现如何，还需要实测。
三是能否基于它做轻量化的垂直模型。如果像素空间路线成立，小团队做特定领域的统一模型门槛会降低。

写在最后

多模态领域这两年最常见的做法是"堆模块"：理解一个编码器，生成一个解码器，中间加桥接。PixelUMM 的思路是反过来——先统一表示，再分头做任务。这条路更难，但如果走通，架构会干净很多。