《Understanding World or Predicting Future》论文精读

世界模型概念与演进脉络

核心争议与分类定义

目前学术界对“世界模型”的定义还在争论中，这篇综述将其高度概括为两大核心功能或流派：

理解世界

构建内部表示来理解世界的运行机制。早期的强化学习研究侧重于此，即把复杂的外部世界抽象成简单的潜在变量，目的是为了更好地做决策。

这类模型的目标是“降维打击”。它们认为世界太复杂、像素级的信息存在太多冗余，因此它们倾向于过滤掉无关的细节，将外部世界抽象成精简的潜在表示。这就好比你过马路时，脑子里不需要预测每一片树叶的飘动，只需要理解“车速”和“距离”这两个抽象概念就能做出决策。

预测未来

预测未来的状态来模拟和指导决策。Yann LeCun 认为世界模型不仅要感知世界，还要能想象未来的可能状态。如今像 Sora 这样的视频生成模型，就是通过生成符合物理规律的视频来模拟未来演变，更偏向这一流派。

这类模型的目标是“全真模拟”。它们不仅需要理解底层的物理和因果规律，还需要把这种理解显式地渲染出来，生成包含时间动态和空间一致性的视觉序列（比如 Sora 生成的视频）。

跨学科起源与心理学基础

人工智能领域中的世界模型概念，有着极其深厚的心理学根基，主要源自心理学中的心智模型理论。

1943 年，苏格兰心理学家 Kenneth Craik 在其著作《解释的本质》中首次提出，人类的心智会构建一个“现实的缩小版模型”来预测和理解外部事件。他认为，人类认知的根本运作方式就是创建内部表示，以此捕捉外部世界的核心结构和动态，从而实现预测性推理和适应性行为。

到了 20 世纪 80 年代，英国心理学家 Philip Nicholas Johnson-Laird 进一步系统化了这一概念。他指出，人类的推理（无论是演绎、归纳还是反事实思考）都是通过构建和操作心智模型来实现的。

Johnson-Laird 确立了几个与今天 AI 世界模型高度契合的原则。心智模型是对可能无限领域的有限表示，它们捕捉的是结构关系而非表面细节，并且它们能够实现对替代方案的预测性模拟。

关键技术发展史

世界模型的演进有一条清晰的时间线：

前深度学习与 MBRL

在基于模型的强化学习（MBRL）中，智能体会构建环境的动态模型。2018 年，Ha 和 Schmidhuber 提出了一个基于循环神经网络的隐式模型，真正带火了“世界模型”这个词，它让智能体可以在脑海中“做梦”并据此做决策。 这个模型通过以下机制运行：

• 环境抽象压缩：它不是直接让智能体对着原始的像素画面做决策，而是先通过一个自编码器-潜在状态管道（autoencoder-latent-state pipeline）来重构图像。这一步将复杂的外部世界抽象成简化的元素。
• RNN 预测未来：智能体接收来自真实环境的反馈，这些反馈被转化为训练模型的输入序列。接着，模型使用循环神经网络（RNN）来学习这些潜在表示随时间的演变。RNN 的作用就是根据当前的状态和即将执行的动作，预测下一个状态会是什么样。
• 在“梦境”中决策：通过这种方式，模型实际上创建了一个关于未来世界可能如何演变的心理模拟，智能体则是基于对这些预期结果的预测来做出最终决策的。

JEPA

2022 年，Yann LeCun 提出了联合嵌入预测架构（JEPA） 。它的核心思想是让机器像人的大脑一样，分为直觉反应的“系统 1”和深思熟虑、会调用世界模型预测未来的“系统 2” 。它不预测像素级的细节，而是预测抽象的潜在空间（Latent space），过滤掉无用的冗余信息。

它的核心机制和亮点可以总结为以下几点：

模块化结构

它包含一个“感知模块”（也就是编码器，负责处理感官数据），紧接着是一个“认知模块”（预测器，负责评估这些信息），这构成了世界模型的实体。

自监督学习范式

这是 JEPA 最大的创新之一。传统的深度学习往往需要海量的人工标注数据（比如标出哪张图是猫、哪张是狗），而 JEPA 能够不依赖大量标注数据，通过自监督的方式学习到丰富的世界表征。

在 JEPA 的具体实现中，它通常采用一种掩码预测的思想：

• 给定一段视频或一张图像，模型会故意遮住其中的一部分（比如遮住视频的后半段，或者图像的右半边）。
• 模型的“感知模块”处理未被遮挡的部分，然后交给“预测器”去推测被遮挡部分的内容。
• 注意，这里针对的不是像素，而是特征向量。目标数据（被遮住的真实部分）也会通过一个编码器，提取出一个高维的数学表示。Loss 函数（比如 $L_2$ 距离）的任务就是最小化“预测出的特征向量”与“真实的特征向量”之间的差距。

双系统认知

JEPA 巧妙地融入了类似人类“快思考”与“慢思考”的双系统概念。

• 系统 1（快思考）： 在代码层面，这就是一个标准的前馈神经网络或策略网络。智能体接收到当前的环境状态输入，通过一层层的网络参数进行前向传播，直接输出一个动作。这个过程极快，没有任何对未来的展开和推演，属于无需显式查询世界模型的本能反应。
• 系统 2（慢思考）： 这就是世界模型大显身手的地方。系统2会调用 JEPA 中的预测器。在决定当前怎么做之前，它会在那个抽象的潜空间里把时间展开。比如，它会假设“如果我执行动作 A，未来的状态向量会变成怎样；如果执行动作 B，又会变成怎样”。它超越了即时的感官输入，通过自监督表示来模拟潜在的未来场景（比如预测房间里接下来十分钟的事件）。在工程实现上，像 V-JEPA 2 这样的模型，会结合模型预测控制（MPC），在潜空间中广泛采样可能的动作轨迹，并通过能量优化来选择最优解。

潜空间构造

在传统的基于重构的模型（如自编码器 VAE）中，潜在空间是被像素级重建任务‘逼’出来的，模型不仅要提取当前画面的特征，它的损失函数还强迫它必须能把原来的画面重新‘画’出来。而 JEPA 则完全抛弃了这条路线，它不预测像素空间中的原始感官输入，而是直接在潜在的嵌入空间中学习预测抽象的表征。

JEPA 构造潜空间的主要机制是：

• 编码器映射：输入的数据（比如图像块）经过神经网络，被压缩成一组高维向量（例如一个 1024 维的浮点数组）。这个多维空间就是潜空间。
• 语义距离度量：在这个空间里，模型遵循的法则是“语义相近的内容，在空间中的距离越近”。例如，“一只奔跑的狗”在第一秒和第二秒的特征向量，在潜空间里的距离应该非常近；而它与“一辆停着的车”的特征向量，距离应该很远。
• 避免表示坍塌：这是非像素重建方法最大的技术难点。如果只要求预测的向量和目标的向量一致，模型很容易找到一个捷径——无论输入什么，它都输出同一个常数向量（比如全是 0），这样 Loss 直接变成 0。为了防止这种情况，JEPA 等架构在训练策略上做了大量精巧的设计（通常包含不对称的网络结构，例如目标编码器的参数不是通过梯度下降更新，而是作为预测编码器的指数移动平均 (EMA) 来缓慢更新，或是引入基于能量的正则化）。 通过这种纯数学向量空间中的距离约束，JEPA 强迫网络去提取像“位置、形状、速度、类别”这样高级别的语义特征，从而完美避开了算力黑洞。

大语言模型

通过海量的文本训练，LLM 自然地获得了关于空间、时间和现实场景运作的“隐性世界知识”。

视频与 3D 生成

像 Sora 和互动 3 D 场景生成技术的出现，让世界模型从隐式抽象走向了显式的视觉序列生成，它们不仅画面逼真，还展现出了对时间动态、空间一致性和物理定律的理解。

综述的分类体系

作者正是基于上述的演进，将整篇论文的后续技术章节划分为：

1. 外部世界的隐式表示：侧重决策制定和世界知识。
2. 物理世界的未来预测：侧重视听觉上的视频生成和具身环境模拟。

外部世界的隐式表示

这一流派的核心理念是：世界模型不需要把未来的画面一帧帧渲染出来，而是要把外部的复杂现实转化为一种极其精简的潜在变量。这样做只有一个终极目的——为了做出更好的决策。

作者将隐式世界模型分为了两条清晰的技术主线。

决策中的世界模型

当一个智能体需要做决策时，它必须先理解环境。论文指出了两种利用世界模型做决策的范式 ：

基于模型的强化学习

MDP

在强化学习中，为了让计算机能够处理现实世界的决策问题，我们必须把环境抽象成一个数学模型。论文中指出，决策问题通常被表述为一个马尔可夫决策过程（MDP）。

MDP 假设了“未来只与现在有关，与过去无关”。在论文中，MDP 被定义为一个由五个元素组成的数学元组 $(S, A, M, R, \gamma)$ ：

• $S$ (State Space)：状态空间，即智能体在环境中可能处于的所有状态的集合。
• $A$ (Action Space)：动作空间，智能体可以采取的所有合法动作的集合。
• $M$ (Transition Dynamics)：状态转移概率（动态方程） 。它定义了在当前状态 $s$ 下执行动作 $a$ 后，环境变成下一个状态 $s'$ 的概率。
• $R$ (Reward Function)：奖励函数。它定义了智能体在状态 $s$ 执行动作 $a$ 后，环境会反馈给它的即时奖励分数。
• $\gamma$ (Discount Factor)：折扣因子。介于 $0$ 到 $1$ 之间，用来衡量“未来的奖励”相对于“现在的奖励”有多重要。 由于绝大多数任务的目标（奖励函数 $R$）是预先定义好的，所以“世界模型”的核心任务就是去学习和逼近那个状态转移概率 $M$。只要智能体精准掌握了 $M$（即知道了“我这么做，世界会怎么变”），它就拥有了完美的世界模型。

MPC

当我们有了一个优秀的“世界模型”（也就是知道了 $M$）之后，我们怎么用它来控制机器人或自动驾驶汽车呢？模型预测控制 (Model Predictive Control, MPC) 给出了一种极其直接且有效的方案。

MPC 的核心思想是“向未来看多步，但只走眼前这一步”（也叫滚动时域控制 / Receding Horizon Control）。论文中给出了它的核心优化公式 ：

$\max_{a_{t:t+\tau}} \mathbb{E}_{s_{t'+1} \sim p(s_{t'+1}|s_{t'},a_{t'})} \left[ \sum_{t'=t}^{t+\tau} r(s_{t'}, a_{t'}) \right]$

具体执行步骤如下：

1. 推演未来：在当前时间步 $t$，智能体利用它的世界模型 $p(s_{t'+1}|s_{t'},a_{t'})$ 向未来预测 $\tau$ 个时间步长（$\tau$ 即 planning horizon，规划层级） 。

2. 序列优化：在这些可能的未来中，寻找一条能在未来 $\tau$ 步内获得最大累积奖励 $\sum r$ 的动作序列。

3. 只执行第一步：找到了这条最优的动作序列后，智能体只执行这个序列中的第一个动作。

4. 重新观测与循环：执行动作后，真实世界进入了新的状态 $t+1$。智能体舍弃掉刚才规划的后续动作，在新的真实状态下，再次向未来推演 $\tau$ 步，重新规划。

   这种机制使得 MPC 具有极强的鲁棒性，即使世界模型的预测稍微有一点偏差，它也能通过每走一步就重新观测真实环境来及时纠正。

MCTS

如果说 MPC 是一种线性的推演，那么蒙特卡洛树搜索 (Monte Carlo Tree Search, MCTS) 则是在庞大且离散的决策空间中进行的一场“树状探索”。论文指出，MCTS 通过维护一棵搜索树来运作，其中每个节点代表一个由预定义价值函数评估的状态。MCTS 是 AlphaGo 和 AlphaGo Zero 在离散动作空间中解决决策问题的核心。

MCTS 利用世界模型进行模拟，通常包含四个循环往复的专业步骤：

1. 选择：从代表当前真实状态的根节点出发，根据某种策略（通常是 UCB 算法，用于平衡“探索未知”和“利用已知”），一路向下选择子节点，直到走到一个还未完全展开的叶子节点。

2. 扩展：在这个叶子节点上，利用世界模型生成一个或多个可能的合法动作，从而在树上创建新的子节点。

3. 模拟：从这个新节点开始，让世界模型进行一次快速的、半随机的推演，来评估这个节点的好坏。

4. 回溯：将模拟得到的结果（输赢或得分）沿着刚才走过的路径向上反向传播，更新途径的所有节点的统计数据（比如节点的访问次数和平均胜率）。

   通过成千上万次这样的循环，搜索树会在那些真正有潜力的决策分支上长得极其茂盛。最终，智能体会选择那条被探索次数最多、价值评估最高的分支作为实际执行的动作。

LLM/MLLM

随着大模型时代的到来，语言本身成为了一种通用的表示形式。LLM 凭借其强大的理解能力，成为了构建世界模型的新基座：

• 直接生成动作：LLM 可以直接作为大脑，接收视觉和文本信息，直接输出下一步的动作指令。
• 模块化结合：更高级的做法是，把 LLM 当作一个环境模拟器（世界模型模块），然后再外接一个专门的规划算法（比如前面提到的 MCTS）来进行推演。这样可以有效弥补大模型有时“逻辑推理不严密”的缺陷。

大语言模型学到的“世界知识”

如果说强化学习是在特定任务（比如下棋、玩游戏）中现学现卖，那么大语言模型（LLM）则是在海量的预训练文本中，把整个世界的运行法则“压缩”进了神经网络的权重里。

论文非常系统地将 LLM 里的这些“世界知识”基于“对象”和“空间范围”这两个关键维度划分为三个层次。

全局物理世界

此时的空间范围最宏大（通常是地球、城市规模，甚至是经纬度坐标），对象是宏观的地理实体。

研究发现，LLM 内部居然存在“空间神经元”和“时间神经元”，它们不仅仅是在统计词频，而是真正学到了多尺度的空间和时间线性表示。

局部物理世界

此时的空间范围急剧缩小，聚焦于特定房间、街道或迷宫；对象变成了具体的家具、障碍物或目标物体。因为这里是人类日常生活和执行大多数真实世界任务的主要环境，所以对局部物理世界的建模，是构建完整世界模型更为关键的课题。

就像人类脑海中会构建“认知地图”来导航一样，研究者发现类似结构也存在于大语言模型中，这使得模型能够在复杂的局部空间（比如 Minecraft 游戏或室内导航）中理解空间关系并执行任务。

认知地图

认知地图最初是心理学家（如 Edward Tolman 在研究老鼠走迷宫时）提出的概念，主要用来解释人类和动物的学习过程。它是指人类为了导航和理解周围环境而在脑海中形成的“心智表征”，里面包含了诸如空间关系、相对距离和关键地标等重要信息。简单来说，就是你闭上眼睛，脑海里浮现出的从宿舍走到食堂的“3D 脑内导航图”。 研究人员惊讶地发现，虽然大语言模型只是在预测下一个词，但它们内部那些表示概念宇宙的高维向量中，竟然也自发形成了类似认知地图的大脑结构。研究人员正是利用这些深刻的见解，来提升人工智能模型学习和理解物理世界的效率与性能。

在智能体的训练中，认知地图发挥着巨大作用。例如，在一项简化版 Minecraft 游戏的研究中，通过视觉预测编码，智能体能够纯粹从像素中一点点构建出空间认知地图。一旦这个地图训练成型，这张位于潜在空间的地图就能编码它到任何目标的度量距离。这意味着智能体不仅“看”到了画面，还在心里“建”了模，从而能够极其准确地推演未来的观测结果，指导自己下一步往哪走。

人类社会

此时对象彻底从“没有生命的物理环境”转变为“具备心智的人类”。空间范围退居其次，核心在于理解人类社会底层运行的隐式规则、文化差异、以及推断他人的心理状态（即前文提到的“心智理论”）。

目前的研究正在疯狂测试大模型是否真的具备这种能力，比如它们能否理解虚假信念、识别反讽，甚至是模拟宏观的经济趋势和资源分配法则。

物理世界的未来预测

如果说上一阶段的“隐式表示”是在脑海里做抽象的数学推演，那么这一阶段的“未来预测”就是把推演的结果显式地渲染出来。论文将这一流派主要分为两个进阶方向。

世界模型作为视频生成

早期的世界模型通常只预测离散或静态的未来状态，但通过引入视频生成技术，现在的模型能够捕捉环境中连续的空间和时间动态。

Sora

Sora 是这类模型目前的典型代表，它能够根据多模态输入生成长达一分钟的高质量、时间一致的视频，其画面常常看起来符合现实世界的物理原理（如光线反射）。

但是，论文尖锐地指出了它的局限性：首先是缺乏因果推理能力，它目前更多是被动地生成序列，而不是主动预测动作如何改变事件。其次，它在严格遵守物理定律方面经常翻车，比如在模拟复杂的物理现象（如受力、流体动力学或光相互作用）时常常失效。

• 被动的序列生成：综述提到，Sora 在理解和模拟外部世界方面存在显著局限性，它只能被动地生成视觉序列，而无法主动预测“特定的动作将如何改变事件的发展”。
• “基于案例”而非“基于规则”：研究（如 Kang 等人）表明，当不断扩大扩散模型的规模时，虽然模型在训练数据分布内能生成极其逼真的画面，但一旦面对分布外或复杂的组合测试时，模型就会崩溃。这说明模型依赖的是“基于案例”的泛化，而不是真正学到了“基于规则”的泛化。
• 物理规律的崩塌：正因如此，Sora 很难一致地重现正确的物理定律，在模拟物体受力、流体动力学或光线相互作用等复杂物理现象时常常会失败。 2026 年 3 月底，OpenAI 宣布将全面关停 Sora 的消费者应用和 API。证明了“试图靠纯粹的像素数据暴力去模拟真实物理世界”在当前的工程与商业上撞到了南墙。 虽然大众娱乐应用被关停，但 OpenAI 官方明确表示，Sora 研究团队将继续专注于世界模拟的研究，以推进能够解决现实物理任务的机器人技术。这完美印证了综述第四章和第五章的核心观点：生成式世界模型的真正发力点不是拍电影，而是构建支持具身智能交互的虚拟训练环境。

理想视频世界模型应具备的四大能力

为了真正用于模拟外部世界，后续研究需要攻克以下能力：

1. 长期预测能力 ：不能只生成几秒的连贯画面，需要长时间保持动态一致。
2. 多模态整合：不仅听懂文本，还要融合图像和动作指令。
3. 交互性：这是最关键的突破点！模型不仅要能生成逼真的画面，还必须允许用户输入动作，并模拟这些动作产生的后果，从而支持动态决策。
4. 多样化环境：能够适应自然环境、自动驾驶、游戏等各种场景的模拟。

世界模型作为具身环境

单纯看视频是不够的，智能体需要在环境中摸爬滚打。因此，现在的焦点正转向创建完全交互式和具身的模拟。它们不再仅仅表示视觉元素，而是融入了空间表示和物理交互。

论文将当前的具身环境世界模型分为了三大类。

室内环境

这类环境主要模拟家庭、办公室等封闭空间，代表作有 AI 2-THOR、iGibson、Habitat 等。

• 特点：通常基于现有的 3 D 资产和物理引擎构建，强调精细的物理交互。
• 优点：
  • 物理规则严密：物体有明确的碰撞体积，重力、摩擦力计算精确。
  • 交互深度高：智能体可以执行“打开微波炉”、“拿起苹果放进冰箱”等复杂的细粒度操作。
• 缺点：
  • 多样性受限：由于需要人工建模，房间的数量、家具的种类非常有限，容易让智能体产生过拟合（换个没见过的沙发就不认识了）。
  • 真实感不足：渲染出来的画面往往带有明显的“游戏塑料感”，导致在模拟器里训练好的机器人，放到真实世界中会因为视觉差异而失效。
• 适应性：最适合训练家用服务机器人、机械臂的抓取与操作，以及室内视觉导航。

室外环境

这类环境的尺度大幅扩张，涵盖城市街道、大自然，甚至像 Minecraft（我的世界）这样的开放沙盒世界。代表作有 CARLA（自动驾驶神级模拟器）、MetaUrban、MineDOJO。

• 特点：场景宏大，包含复杂的动态元素（如其他车辆、行人、天气变化）。
• 优点：
  • 任务复杂度高：能够测试智能体的长视距规划能力，比如在城市中从 A 点导航到 B 点，或者在野外收集资源生存。
  • 多智能体博弈：包含了海量的其他动态 NPC，环境是不断变化的。
• 缺点：
  • 计算开销极其庞大：实时渲染一座城市的物理光影和海量实体的运动，需要巨大的算力。
  • 长尾场景模拟难：传统的室外模拟器很难穷尽现实中的极端情况（比如马路上突然窜出一只骆驼），导致自动驾驶系统的安全性验证遇到瓶颈。
• 适应性：最适合自动驾驶算法的验证、无人机无碰撞飞行训练，以及开放世界游戏 AI 的开发。

动态生成环境

这是目前最前沿的世界模型探索方向。它抛弃了传统的 3 D 建模，直接用大模型（如 Diffusion Models）通过纯数据驱动的方式“脑补”出环境。代表作有 UniSim、Pandora。

• 特点：输入文本提示或动作指令，神经网络直接生成对应的视频帧作为环境反馈。
• 优点：
  • 无限的场景多样性：只要互联网上有过这种数据，它就能生成。它可以轻易生成火灾现场、暴风雪中的街道等传统引擎极难搭建的极端长尾场景。
  • 超高的真实感：生成的画面是照片级的，极大地缩小了 Sim-to-Real 的视觉差距。
• 缺点：
  • 物理幻觉：目前最大的痛点。因为它本质上是在猜像素，所以经常会生成“穿模”的画面，或者物体凭空消失、违背几何透视原理。
  • 缺乏底层 3D 结构：它往往只生成了 2D 的画面流，没有真实的 3D 碰撞箱，智能体很难在里面进行极其精确的物理抓取操作。
  • 长期记忆差：智能体在这个生成的环境里转了一圈回到原地，模型可能已经把原来的房间生成成了别的样子。
• 适应性：非常适合让智能体在海量、极端、不可预测的场景中进行泛化性测试，以及用于自动驾驶的纯视觉感知训练
• 近期改善方案：为了缓解动态生成时的“穿模”和不符合物理规律的问题，近期研究开始在视频生成中融入几何和物理特征。例如，Aether 引入相机轨迹作为条件；TesserAct 加入了法线贴图；Roboscape 整合了深度图和关键点动态。这些方法显著提升了动态生成环境的真实感和物理依从性。

落地应用与前沿挑战

四大核心落地应用

生成式游戏

• 现状：传统的游戏需要程序员和美术写死所有的代码和贴图。而现在的世界模型（如 Google 的 Genie 或是最近爆火的 Oasis）可以直接从无标签的互联网视频中学习。
• 应用：玩家只需要给出一张草图或者输入动作指令，模型就能实时生成下一帧的游戏画面，并且保证角色的动作和背景的物理交互是合理的。它本质上是在“边玩边生成”整个游戏世界。

自动驾驶

• 痛点：在真实马路上训练自动驾驶汽车太危险，且很难遇到极端的“长尾场景”（比如前方大卡车突然掉下几十只鸭子）。
• 应用：世界模型（如 Wayve 的 GAIA-1）可以通过输入“天气变恶劣”、“前车急刹”等文本提示或操作指令，生成极度逼真的第一人称/鸟瞰图（BEV）驾驶视频。这相当于给自动驾驶系统打造了一个绝对安全的“终极驾校”。

机器人与具身智能

• 痛点：直接让机器人在现实中试错，很容易把昂贵的机械臂搞坏。
• 应用：机器人可以在世界模型构建的“梦境”中进行千万次的抓取、导航模拟。论文中提到了诸如 DayDreamer 这样的算法，让机器人在虚拟的物理沙盒中学会了复杂的控制策略。

社会模拟

• 现状：不仅是模拟物理法则，大语言模型的崛起让模拟“人类社会法则”成为可能。
• 应用：在著名的“斯坦福生成式小镇”实验中，多个基于 LLM 的智能体被放入一个沙盒社区中。它们不仅拥有记忆，还会互相交流、举办派对、甚至传播八卦。这种包含了“心智理论”的世界模型，未来会被大量应用于经济学政策的推演、社会学的群体行为研究。

世界模型的两大部署角色

从系统架构和交互方式来看，世界模型的功能可以被高度抽象为两种主要角色：

• 作为云端环境：通常表现为视频生成系统，利用海量算力生成高质量、海量的多模态数据。它的作用是作为“数据引擎”来扩充真实数据，或者作为强化学习的“虚拟训练场”和策略评估器，让智能体在其中无风险地试错。
• 作为端侧大脑：通常不需要生成底层的视觉像素，而是在潜在空间（latent space）中压缩世界状态（如 V-JEPA 2）。它们部署在智能体内部，通过内部推演进行实时、低延迟的动作规划与决策。

前沿挑战与未解之谜

尽管世界模型看起来无所不能，但论文非常坦诚地指出了目前阻碍其走向通用人工智能的几座大山。

物理规则与反事实模拟

• 核心痛点：世界模型的一个关键目标是捕捉环境的因果结构和底层物理规则，以便能够进行数据分布外的反事实推理（例如“如果发生从未见过的极端情况会怎样”） 。然而，目前纯数据驱动的大规模生成模型（如 Sora）虽然能生成极其逼真的画面，但在重力、流体动力学等物理法则上经常失效。这表明它们依赖的是“基于案例”的泛化，而非真正学到了“基于规则”的底层物理定律。
• 未来方向：学术界越来越看好“混合架构”。即把基于第一性原理的传统物理引擎与生成模型结合起来（例如 Genesis 和 PhysGen 框架） ，或者在扩散模型训练时加入偏微分方程（PDE）等物理知识的软约束。这种“硬结合+软约束”的设计可以在不牺牲逼真度的前提下，提升模型对物理规律的遵循能力和可解释性。

丰富社会维度

• 核心痛点：一个高级的世界模型仅能模拟物理环境是不够的，人类行为和社会交互在诸多重要场景（如城市环境）中同样起着决定性作用。然而，如何让智能体模拟出全面且真实的人类行为和社会互动，仍是一个未解之谜。
• 未来方向：未来的研究需要将人类行为模式和认知过程的相关理论，融入到大语言模型智能体的工作流设计中。此外，目前评估生成人类行为的真实性仍然高度依赖主观的人工评估，这种方式很难扩展到大规模的世界模型中。因此，开发可靠且可扩展的评估方案是另一个重要方向。

基准测试的混乱与统一

• 核心痛点：目前评估世界模型非常困难，因为学术界在目标（学习内部表示 vs. 预测未来世界）、技术路线（LLM 智能体 vs. 视频扩散模型）以及应用领域上存在巨大分歧，导致缺乏统一的标准任务或评估指标。
• 现有探索与未来方向：业界正在积极构建更细致的测试集，主要分为三类：
  1. 以视频为中心的模拟：如 VBench-2.0，试图将“看起来真实”与“内在遵循物理和常识”区分开来评估。
  2. 物理与空间推理：如 Physics-IQ，发现模型在流体、光学等五大物理领域的理解能力与其视觉逼真度存在严重脱节。
  3. 具身决策：如 EAI 和 RoboScape，评估智能体在模拟环境中的任务分解能力，以及策略从模拟迁移到现实时的性能损耗。未来需要建立更加标准化、跨模态的统一基准测试。

通过具身智能连接模拟与现实

• 核心痛点：在物理世界中训练机器人成本高昂且充满风险。世界模型被视为开发具身智能的关键，因为它能作为一个强大的模拟器，构建全面的环境元素并模拟它们之间的真实关系。
• 未来方向：必须持续提升生成式 AI 模型的多模态、多任务和 3D 能力。同时，解决长期存在的“模拟到现实差距”至关重要。未来的一个有趣方向是建立生成式世界模型与具身智能体之间的“自我强化循环”——智能体在现实中收集细粒度感知数据反哺模型，模型生成更高质量的虚拟环境再用于训练智能体。

模拟效率

• 核心痛点：对于无人机控制等复杂应用，高帧率的实时模拟是刚需。但目前大多数大型生成模型（尤其是基于 Transformer 的自回归模型）由于每次只能生成一个 Token，推理速度极慢，成为了算力瓶颈。
• 未来方向：需要在算法层面上探索大/小模型的结合使用、模型蒸馏技术以及请求的最优调度策略。同时，对于经典的物理模拟，可以探索利用图神经网络等轻量级深度学习模型来高效近似物理系统。最终，要实现实质性的速度飞跃，离不开从底层硬件到编程平台再到 AI 模型的全面协同优化。

伦理与安全隐患

• 数据隐私：大规模生成模型的训练数据往往庞大且不透明，存在推断和泄露个人隐私信息的风险（特别是在视频生成领域） 。未来需要提高模型生命周期的透明度以符合 GDPR 等隐私法规。
• 模拟不安全场景：生成式 AI 可能会被恶意用户通过“对抗性提示”误导，用于模拟有害场景，从而降低他们策划非法或不道德活动的成本。为世界模型设置强大的安全防护网是当务之急。
• 问责制：生成超逼真视频和图像的能力加剧了“深度伪造”问题，导致虚假信息的泛滥。由于世界模型能生成连贯的多维输出，检测这些 AI 生成内容的难度将成倍增加。未来需要大力发展数字水印等技术，并配合法律手段，以确保使用世界模型时的可追溯性和问责制。

个人思考

论文中提到学术界越来越看好“混合架构”，即把基于第一性原理的传统物理引擎与生成模型结合起来。这在目前看来，或许是一个看起来非常有效的方法，但是从 The Bitter Lesson 的角度来看，这其实是反 The Bitter Lesson 的。

Rich Sutton 在《The Bitter Lesson》中提出：人类把领域知识（比如物理规律）硬编码进系统，短期内会有效，但长期来看，唯一能持续带来突破的只有算力的提升和基于大数据的通用学习算法。 然而，这篇综述通过引用大量近期研究（如 Kang 等人和 Physics-IQ 的评估），指出：“现有的证据表明，单纯依靠数据驱动的规模扩张，不足以恢复稳健的物理定律。”研究人员为了解决自动驾驶和机器人训练的燃眉之急，只能实用主义地选择反 The Bitter Lesson，把物理规则硬加回来。

从更长远的角度来看，导致这个问题的原因我认为主要有两点：

• 数据本身缺失：2D 视频像素里本来就存在维度坍塌，丢失了 3D 物理的受力、质量等关键因果信息。光靠看视频，数据本身就不包含完整的物理信息，所以必须加入 3D 几何或物理引擎约束。

• 架构不完善：并不是 Scaling Law 失效了，而是目前的架构（如仅仅为了拟合像素的 Diffusion 架构）或者交互方式不对。如果在未来，智能体在具身环境中产生了海量的“交互-物理反馈”闭环数据，并利用类似 JEPA 这种真正在潜空间做因果推演的架构进行千百倍的扩展，AI 终究有一天能像婴儿一样，不需要写任何偏微分方程，自己通过大数据“摸爬滚打”出牛顿定律。

  就目前而言，在那个终极的“通用物理学习架构”出现之前，引入物理先验的混合架构是走向现实应用不可避免且最有效的桥梁。