宏观认知
为什么要统一理解与生成
很长一段时间内，研究人员选择独立开发多模态的理解和生成模型。综述指出，多模态模型的演进经历了三个阶段 ：从各个模型各司其职，到能力整合，再到未来愿景中的交错推理，即能够处理像“根据剧本生成连贯电影”这样复杂的现实任务。如今，打破理解和生成之间的界限，开发出能够无缝整合这两者的统一基础模型（UFM）已成为研究热点。
促使理解和生成走向统一的动机主要有两点：
- 相互促进：深度的语义理解是高质量生成的基础，而生成能力又能通过反馈循环帮助模型进行复杂的认知和推理。正如物理学家费曼所说：“我不能创造的，我就不能理解。”
- 解决高难度现实任务：现实世界中的复杂任务往往需要模型在理解长上下文的同时，迭代地生成高质量的多模态内容，这是孤立模型无法处理的。
统一基础模型（UFM）
在正式定义上，UFM 处理的任务集合必须同时包含多模态理解任务（如图像分类、视觉问答等）和生成任务（如文生图、图像修复等），而不是仅仅专注于其中一种。
传统独立模型
在具体探讨 UFM 之前，综述梳理了作为基石的传统独立模型：
- 多模态理解模型：主要分为判别式和生成式。判别式模型（如基于对比学习的 CLIP 和 SigLIP）通过区分正负样本来学习特征。生成式模型则多采用掩码图像建模（MIM）或自回归机制来捕获数据分布，通过生成数据来辅助理解。
- 多模态生成模型：综述列举了基于能量的模型、GAN、自编码器（VAE）以及当前最主流的两种范式 ：
- 扩散模型：通过前向加噪和反向去噪过程生成数据，特别是结合了 Transformer 架构的 DiT 模型，极大地提升了多模态生成模型的规模化潜力和表达能力。
- 自回归模型：以预测序列中下一个元素的方式生成内容。它的优势在于与现实世界的生成过程一致，非常适合生成长序列，但受限于依赖前置元素，推理速度相对较低，且存在误差累积的风险
多模态理解模型->生成模型 vs 多模态生成模型
可以通过根本目的维度来清晰地区分它们：
- 多模态理解模型->生成模型：生成是手段，理解是目的。
- 情况 A（自监督学习）：比如掩码图像建模（MIM，如 MAE 模型）。研究人员把一张小狗的图片遮住 75%，让模型去“生成（还原）”被遮住的部分。如果模型能成功还原，说明它在内部真正理解了小狗的结构。训练完成后，那个负责“生成像素”的解码模块往往就被丢弃了，我们只保留模型提取出的“特征”，用来做图像分类或目标检测。
- 情况 B（图文问答）：发一张图给模型问“图中有什么？”，模型生成了一段文本：“一只小狗在草地上跑”。这里的“生成文本”是为了证明：它看懂了这张图。
- 多模态生成模型：生成就是目的。
- 比如 Midjourney、Sora 或者 Stable Diffusion。你给一段提示词“一只在太空穿着宇航服的小狗”，模型从无到有地把这张图片或这段视频创造出来。它的核心使命就是产出多媒体内容。
核心架构与表征机制
框架与建模策略
要把语言大模型和生成模型结合起来，学术界探索了三种耦合程度由浅入深的路线。
外部专家集成
- 原理：大语言模型（LLM）作为“总控制器”，它自己不直接处理图像或声音。当收到任务时，它先做意图分析和任务规划，然后通过生成自然语言指令，去调用外部现成的“专家模型”（比如图像识别 API 或语音合成模块）。
- 特点：实现起来最简单，资源消耗低，不需要大规模重新训练（比如经典的 Visual ChatGPT 和 HuggingGPT）。但瓶颈也很明显：一切交流都靠文本，如果任务需要传递极其复杂的视觉细节，自然语言往往无法精准表达，导致外部专家“会错意”。
模块化联合建模
- 原理：把 LLM 和外部的生成模型（比如 Stable Diffusion）拼在一起。LLM 负责理解上下文，然后输出“提示词（Prompt）”或者“中间表征（Representation，即高维向量）”来指导后端的外部扩散模型生成目标模态。
- 特点：相比第一种路线联合得更紧密。尤其是采用“表征媒介（Representation-Mediated）”方式时，模型跳出了自然语言的限制，直接用高密度的连续向量沟通，能传递更丰富的结构和细节，生成质量很高。缺点是依然存在“拼盘”感，且模型能力上限受限于那个外部的生成器。
端到端统一建模
- 原理：这是目前学术界追逐的目标。理解和生成任务全部在一个统一的神经网络架构内部完成，不再依赖外部的生成模块，实现了真正意义上的深度耦合。
三大流派：
- 自回归（Autoregressive）：像语言模型“预测下一个词”一样，预测下一个图像块（比如 Emu 3）。优点是框架极其简单统一，缺点是生成高清图像时存在信息瓶颈，且推理速度慢。
- 扩散（Diffusion）：将生成和理解任务都放入扩散或流匹配的降噪过程中，生成质量极佳，但先天在复杂的逻辑推理和理解能力上偏弱。
- 自回归-扩散混合（AR-Diffusion Hybrid）：当前极具潜力的新星方向。用自回归处理文本等离散数据，同时引入扩散模型处理图像等连续数据（比如 Transfusion 和 Show-o 模型），兼顾了 LLM 的强推理优势和扩散模型的高清生成优势。
编码与解码
要把图像、视频和文本放在一起做端到端训练，就必须有一种统一的数据“语言”。编码就是把连续的多媒体信号变成模型能消化的数字特征，解码则是把特征变回可感知的图像/声音。综述里梳理了三种表征体系。
连续表征
将图像编码成一串连续的、包含小数的实数向量（通常使用 CLIP 的 ViT 或 VAE）。
- 优势：最大程度保留了丰富的语义信息和全局结构，非常适合视觉问答这种需要深度理解的任务。
- 劣势：LLM 习惯处理像单词这样的离散符号，强行输入连续向量有时容易造成语义未对齐。
离散表征
通过向量量化（Vector Quantization, VQ）技术，把图像切分，然后像查字典一样，把每个图像块强制转换成一个“离散的词 ID”（Visual Token）。
- 优势：完美契合 LLM 的自回归架构，文本和图像共享同一个词表。
- 劣势：这种强制的量化压缩会不可避免地丢失底层像素细节（比如图像变糊或丢失局部纹 理），导致生成图像的质量受限。
混合表征
结合了前两者的优点，试图既保留连续表征的丰富语义，又利用离散表征来做好底层重建。
很多最新的架构会采用“双分支（Dual-Branch）”结构：一条独立路径提取高级语义（供理解任务使用），另一条独立路径提取像素细节（供生成任务使用），最后再将它们融合。
架构与表征组合
表征（连续/离散）和生成框架（自回归/扩散）绝对不是随意的自由组合，它们之间存在强烈的“数学与架构绑定”关系。在设计统一多模态模型时，研究人员通常会遵循以下几种经典的“黄金搭档”组合。
自回归架构+离散表征
大语言模型底层采用的是自回归机制。它在数学上做的事情是：从一个固定大小的“词表”中，计算出下一个词的概率分布，然后挑出概率最高的那一个。这种计算天然只支持离散的、有限的类别。
因此，必须用向量量化技术（如 VQ-VAE、VQGAN）把图像切块，并强行转换成一个个离散的Visual Tokens。这样图像就变成了和文本一样的离散符号序列，LLM 就可以像续写文章一样，逐个预测下一个“图像单词”来生成图片。
扩散框架+连续表征
扩散模型的数学原理是逐步添加和去除高斯噪声。加噪和去噪的过程是在一个平滑的、连续的实数空间中进行的。如果你给它离散的整数 ID，它根本无法计算梯度的微小变化。
使用标准的变分自编码器（VAE）将图像压缩成连续的特征向量。扩散模型在这个连续的特征空间中进行复杂的去噪生成，生成完毕后，再用解码器将这些连续特征还原为高清像素。
混合组合
随着研究的深入，学术界也开始尝试打破这些经典绑定，这就是我们在综述中会看到的一些“混合/创新架构”。
-
自回归框架 + 连续表征
- 难点：LLM 习惯做离散分类，怎么让它输出连续的无限可能的小数？
- 解法：修改大模型的“输出头”。不再让它做词表预测，而是让大模型在输出端外接一个回归头或者一个小型的扩散模型头，直接输出连续的特征向量。这保留了 LLM 强大的逻辑推理能力，同时避免了离散化带来的图像失真。
-
混合框架
- 解法：既然文本天生离散，图像天生连续，不如“因材施教”。在一个统一的模型中：文本部分使用自回归预测离散 Token，图像部分使用扩散去噪预测连续变量。两者共享底层的 Transformer 注意力机制。
- 代表模型：综述中提到的 Transfusion 就是这种思路的典型代表，这也是目前非常有前景的大一统路线。
模型训练周期
传统的单一模型训练相对简单，但大一统模型（UFM）既要学理解又要学生成，它的训练生命周期通常分为两个关键阶段。
统一预训练
- 目标：让模型掌握海量的世界知识，并在不同模态（图、文、音）之间建立基础的对齐关系。就像是让小孩广泛地阅读、看世界、听声音，建立最基本的常识。
- 难点：如何把不同模态的训练目标统一起来？综述中提到，通常会混合多种目标，比如让模型同时做自回归预测（预测下一个词或下一个图像块）、掩码重建（遮住一部分图像或文本让它还原），以及对比学习（判断某段文本和某张图片是否匹配）。
数据格式
在 UFM的统一预训练阶段，模型需要在一个框架内同时学习理解和生成等多种任务。为了让模型在处理序列时能够明确区分当前需要执行的“训练目标”或“任务类型”，研究人员通常采用以下几种核心机制：
结构化的指令模板
为了实现更精确的跨模态对齐，研究人员广泛采用基于指令的数据构造策略，使用结构化的模板将异构的模态数据转换为统一的序列表示。通过自然语言指令或提示词来直接指定期望的任务或响应。例如，理解任务的指令可能是“描述图像中的物体：<image>”，而生成或编辑任务的指令可能是“将照片中的草地替换为沙子：<image>” 。
引入任务引导的特殊Token
在模型架构层面，通过在模型词表中扩展引入新的、可训练的特殊 Token，可以有效实现模态区分和任务引导。
- 显式行为引导：例如
LLMBind模型引入了特定的任务 Token（如<gen>代表生成，<edit>代表编辑）来直接引导模型的行为。 - 任务范式指定：
Unified-IO 2使用了[R]和[S]这样的标记来指定具体的任务范式。 - 统一提示技术：在自回归与扩散混合架构的代表模型
Show-o中，研究人员引入了一种统一的提示技术，使用[MMU]（多模态理解）和[T 2 I]（文生图）等特殊 Token 来显式地指定不同的任务类型。
模态边界与类型标识
为了配合任务目标的区分，模型还需要准确识别当前处理的数据属于什么模态。主流的多模态指令数据通常采用标准化的分隔符系统，例如使用 <text>、<image>、<video> 等标签来包裹对应的 Token 序列。在具体实现中，还会引入像 <imgbos>（图像开始）和 <imgend>（图像结束）这样的特殊 Token 来显式标定多模态数据流中图像 Token 序列的边界。这有助于模型在执行生成、编辑或分割任务时，准确识别出图像的边界范围，从而更好地适应特定模型的需求。
任务监督与对齐
- 目标：预训练出来的模型虽然懂得多，但不一定听人类的话。这一步是为了让模型的行为符合人类的指令和价值观。
- 监督微调（SFT）：给模型喂大量高质量的“指令-回复”数据。比如，“请把这张草图渲染成赛博朋克风格（生成）”或者“图中这个人为什么在笑？（理解）”。
- 偏好对齐（Alignment）：采用 RLHF（基于人类反馈的强化学习）或 DPO（直接偏好优化）等算法。对于多模态模型来说，不仅要对齐文本回答的安全性，还要对齐生成图像的美观度、是否符合物理规律、是否包含有害视觉内容等。
数据工程与评测基准
多模态数据工程
构建 UFM 需要极其庞大且高质量的交错数据。综述梳理了数据工程的几个关键环节。
- 数据来源：
- 网络抓取：从网页中提取图文交错的 HTML 数据，这是获取海量知识的主要来源。
- 合成数据：因为互联网上高质量、带有精准描述的图像/视频太少了。现在的常规操作是利用现有的强大多模态理解模型（比如 GPT-4V），让它去给海量的无标签图片或视频自动生成极其详尽的描述，再拿这些合成数据去训练新的统一模型。
- 数据过滤与清洗：
- 去重：剔除互联网上大量重复的图片。
- 质量过滤：使用专门的打分模型过滤掉模糊、带有大面积水印、或者纯粹是广告的图片。对于生成模型来说，还需要用“美学评分模型”来筛选出最具美感的数据。
- 图文对齐过滤：很多网页上的图片和旁边的文字根本毫无关联（比如文章讲的是宏观经济，配图却是一张风景照）。需要用 CLIP 等计算图文相似度，剔除不匹配的数据。
Benchmark
论文将现有的 Benchmark 严格划分为三大类：理解任务评测、生成任务评测，以及专为 UFM 设计的混合模态生成评测。
理解任务评测基准 (Benchmark for Understanding)
这部分主要评估模型理解输入信息的能力。论文根据输入模态（图像、视频、音频等）进行了细分，其中图像理解的评测维度最为丰富。
- 基础感知与认知：从早期的 VQA v 2.0，发展到了如今追求全面评价的大型多项选择题基准（如 MME、MMBench、SEED-Bench 系列）。此外，还出现了专门用来诊断模型“视觉缺陷/盲区”的基准（如 MMVP）。
- 世界知识 (World Knowledge)：考察模型是否具备跨学科的专家级知识。代表基准是 MMMU（涵盖大学级别的艺术、科学、工程等多学科问题）以及 ScienceQA。
- 推理与数学：不仅要求看懂，还要求多步逻辑推理。代表如 MathVista 和 MATH-Vision，专门测试模型对复杂图表、几何图形的数学解题能力。
- 特定能力与安全性：包括对长文本/文档的阅读理解（OCRBench, DocVQA）、模型“幻觉”检测（POPE, MMHAL-BENCH，专门测试模型是否会“一本正经地胡说八道”），以及对偏见和安全性的评估（MOSSBench）。
在视频理解方面，除了基础的动作识别和时序问答（Video-MME），目前的评测焦点正在向长上下文理解转移，比如测试模型对长达几小时的视频或第一人称视角视频的记忆和推理能力（如 LVBench, EgoSchema）。
生成任务评测基准 (Benchmark for Generation)
这部分评估模型生成多媒体内容的能力：
- 图像生成：
- 文生图：重点考察生成的图像与文本提示的对齐度（比如属性是否泄漏、位置是否正确）以及美学质量。代表基准有 GenEval、WISE 等。
- 图像编辑：要求模型在保留原图特征的基础上，根据指令进行精准修改。代表基准有 MagicBrush、PIE-Bench 等。
- 视频生成：除了图像的清晰度，更强调时序连贯性和动作的物理合理性。代表基准如 VBench。
混合模态生成评测基准 (Benchmark for Mix Modality Generation)
这是论文特别强调的、针对UFM的最前沿评测方向。传统的基准往往把理解和生成割裂开来单独打分，而混合基准（如交错生成 Interleaved Generation）要求模型在同一个任务流中同时调用这两种能力。
- 代表基准：SEED-Bench-2、MMIE、MME-Unify、RealUnify 等。
- 考察形式：例如，输入一段包含图片和文字的悬疑故事（理解长篇交错上下文），要求模型不仅要用文本推理出故事的结局（理解），还要画出对应的最终场景（生成）。或者在几何题中，模型需要先生成正确的辅助线（生成），再基于辅助线计算出结果（理解）。
- 核心意义：这种评测直接触及了 UFM 的终极愿景——“交错推理 (Interleaved Reasoning)”，它测试的是生成与理解是否能够相互促进，而不仅仅是简单地拼凑在一起。
应用
论文的第 10 章详细探讨了多模态大一统模型（UFM）在五大核心领域的下游应用场景。这些应用不再仅仅局限于传统的图文问答，而是深入到了物理世界的交互与预测中。
机器人与具身智能
在机器人领域，基于视觉-语言-动作（VLA）的模型能够根据观察和指令生成未来的规划动作。目前的挑战在于如何处理多模态的动作分布，这通常需要引入额外的扩散头等特殊结构。
- 强化推理能力：像 LCB、DexVLA 和 ChatVLA 这样的模型通过构建文本推理数据集，让模型在输出具体动作指令之前，先进行显式的文本分析和推理。
- 视觉与动态预测：SEER 模型引入了辅助的扩散模型来预测目标的动作图像，从而捕捉真实的物理动态。GR-2 则通过在海量网络视频上预训练视频生成，来学习通用的世界动态机制。
自动驾驶
自动驾驶系统正朝着端到端的方向发展，旨在将传感器输入直接映射为车辆的运动轨迹。UFM 将未来场景生成与运动规划相结合，提升了模型对动态环境的建模能力。
- 多模态联合预测：DrivingGPT 采用离散自回归建模，联合预测交错的未来画面和运动 Token 。Epona 则结合了自回归和扩散模型，实现了高分辨率的长期预测。
- 3D 与空间感知：Hermes 模型能够根据当前图像跨传感器预测未来的 LiDAR 点云。OccLlama 和 Occ-LLM 利用占用网络的空间体素表示，通过驾驶 VLA 模型来预测未来的空间占用情况。
世界模型
世界模型旨在根据历史观察和可替代动作来推断未来可能的世界状态，是通向自主智能的重要途径。由于纯 2D 的视觉输入往往难以维持时空连贯性和遵守物理约束，统一模型正推动其向基于物理的预测发展。
- 迈向 4D 预测：Aether 训练了一个基于扩散的 4D 世界模型，在统一框架内联合预测视频、深度和相机姿态。
- 物理交互模拟：TesserAct 构建了 4D 具身世界模型，不仅预测视频和深度，还预测法线贴图（Normal maps），使其能够准确模拟抓取物体或打开抽屉等逼真的 3D 物理交互。在驾驶场景中，GEM 和 DiST-4D 等模型也实现了带有精确控制条件和多视角的 4D 驾驶世界模拟。
泛视觉任务
UFM 正在将各种零散的视觉感知和生成任务统一到同一个大模型框架下。
- 2D 视觉感知：LLMBind 和 VisionLLM v 2 将特定任务的视觉模型作为外部解码器，处理目标检测、语义分割和姿态估计等高级视觉任务。UniWorld-V 1 则直接利用 UFM 的生成能力输出结构化的标签图，摆脱了对特定任务视觉模型的依赖。
- 3D 几何与生成：LLAMA-Mesh 巧妙地利用了纯文本的 OBJ 格式（包含顶点坐标和面定义）与 LLM 结合，实现了 3 D 网格的生成和理解。VGGT 更是作为统一的几何基础模型，能够直接从任意视角推断相机的参数、密集点云和深度图等所有关键的 3D 属性。
医疗健康
医疗被论文特别指出是多模态智能最具潜力的应用领域之一。UFM 在联合执行多模态数据（如医学影像和诊断报告）的理解与生成方面，展现出了极大的应用潜力和临床价值。
未来方向
论文在第 11 章将未来工作主要归纳为四个核心方向。
模型策略与结构
综述指出，未来的架构探索将集中在如何更好地将大语言模型的自回归特性与扩散模型相结合。纯粹的自回归或扩散模型在处理混合任务时存在一定局限，因此混合架构是关键的突破口。同时，利用混合专家模型（MoE）结构来更高效地整合理解和生成能力，也是一个极具潜力的架构演进方向。
统一 tokenizer
目前模型在不同模态间转换时仍面临信息冗余和丢失的问题。未来的目标是设计出可扩展的统一分词器，以减少表征冗余并提升通用性。特别是在视频领域，迫切需要设计出能保留更丰富语义的视频分词器，从而在底层的 Token 空间里同时支持高质量的视频理解和生成。
模型训练
训练范式的演进将沿着两条主线展开 ：
- 模态交错数据：数据构建将从简单的“图文配对”全面转向深度的“模态交错”语料。例如，对视频进行多粒度的时序分解，并与文本在动作、实体和因果关系上进行细粒度对齐。这种复杂的数据构造能大幅提升模型对过程、行为和复杂时序结构的深度理解。
- 偏好对齐训练：未来的模型优化将超越传统的监督微调（SFT），转向整合强化学习（如 DPO 和 GRPO）与人类偏好对齐的统一框架。当前的核心挑战在于，如何设计出能够精确捕捉和平衡“理解”与“生成”双重任务偏好的统一奖励模型。
评测基准
现有的评测基准大多将“理解”和“生成”割裂开来单独打分，缺乏对两者相互促进能力的直接测试。未来的统一评测基准需要做出以下改变：
- 在生成提示中嵌入更丰富的语义和世界知识要求，迫使模型的生成动作必须建立在完全正确理解输入的前提之上 。
- 要求模型在生成视觉内容后，基于该内容进行逻辑推理（例如，先画出几何辅助线，再解答几何题），以此测试“生成”如何反哺“理解” 。
- 在评估手段上，学术界可能会采用混合协议：使用大模型作为裁判（MLLM-as-Judge）来评估中间输出的有效性，同时结合客观规则或参考标准来评估最终结果 。