序章：当 AI 开始'做梦'——世界模型与具身智能是什么

1.1 一个机器人走进厨房：当 AI 必须"动手"

让我们从一个再普通不过的场景开始。

你下班回到家，嗓子有点干，对着家里的智能助手说："帮我端杯茶。"如果今天家里站的是 ChatGPT，它大概率会给你一段漂亮的话术——"当然可以！建议您选择西湖龙井或正山小种，水温 85℃，冲泡 3 分钟口感最佳。"——然后，什么都不会发生。它甚至不知道你的厨房在哪个方向，茶杯长什么样，更不知道"端"这个动作意味着要从桌面上提起一个 200 克左右的圆柱体，绕过椅背，倒进另一个容器里。

换一个例子。如果你把这个问题抛给 AlphaGo——人类围棋的巅峰——它同样束手无策。它能在 19×19 的棋盘上把人类冠军按在地上摩擦，但它不知道椅子是有腿的，不知道杯子是会碎的，不知道从 A 点走到 B 点需要避开茶几的拐角。在 AlphaGo 眼里，整个世界就是 361 个交叉点上的黑白子，其余的物理现实对它来说是一片虚无。

这就是本章要回答的核心问题：为什么"会说话"的 AI 和"会下棋"的 AI 都做不好端茶倒水这件小事？缺的到底是什么？

答案可以用一句话概括——它们都缺少一个"身体"，更缺少一个关于这个身体如何与世界打交道的"内在模型"。前者就是 具身智能（Embodied AI） 要解决的事，后者就是 世界模型（World Models） 要解决的问题。

为了让你直观地感受到这一点，我们先把这两个概念分开讲，再合起来看。

---

1.2 具身智能：AI 终于长出了"身体"

1.2.1 "具身"到底"具"的是什么"身"

很多人第一次听到"具身智能"四个字，脑子里浮现的是波士顿动力的机器狗、特斯拉的 Optimus 人形机器人，或者是 Figure 01 在 BMW 工厂里搬零件的视频。这些确实是具身智能的载体，但 具身智能的本质并不在硬件，而在"感知—思考—行动"的闭环。

具体来说，一个具身智能体必须具备三件事：

1. 感知（Perception）：通过传感器（摄像头、激光雷达、力矩传感器、麦克风等）拿到关于外部世界和自己的原始信号。 2. 决策（Decision / Cognition）：基于这些信号，决定下一步要做什么。 3. 行动（Action）：把决策翻译成执行器（电机、关节、抓爪）的具体指令，并在真实世界中产生物理后果。

这三件事必须形成一个闭环（closed loop）——行动的物理后果会改变环境，环境的变化又会被下一轮的感知捕获，然后再次进入决策循环。一个端茶倒水的机器人哪怕每个模块都做得很好，只要这个环断了一环，它就无法完成任务。

举一个反例：图灵测试里那个著名的"中文房间"论证，里面的"人"可以流利地回答所有关于茶的问题，但它既没有看到茶，也没有端起茶的动作，更没有茶杯打碎时手指被烫到的感觉。它没有"具身"。而一只仓鼠，哪怕它的"语言能力"为零，但它的胡须、爪子、小脑、皮层共同构成了一个完整的感知—行动闭环，能在 0.3 秒内完成"听到响声 → 判断威胁 → 决定逃窜 → 跳进笼子"这一整套动作。在具身智能的视角里，仓鼠比中文房间里的人更接近智能的本质。

1.2.2 为什么"大语言模型 + 机械臂"≠ 具身智能

2023 年以来，业界有一种流行的做法：把 GPT-4 或者 Llama 这类大语言模型（LLM）装到机器人身上，让 LLM 做"大脑"，负责理解指令、拆解任务、生成动作序列，再交给底层的运动控制器执行。这种做法通常被称为 LLM-as-Planner，在一系列论文和 demo 里都取得了不错的效果——例如让机械臂按照"帮我收拾桌上的脏碗"这种开放性指令去执行。

但是，如果把这种范式等同于具身智能，那就把问题想简单了。LLM 强在符号层面的推理，但它有几个根本性的短板：

• **没有"在世存在"的物理直觉**：LLM 训练数据全是文本，它不知道"杯子放在桌子边缘，一推就掉"这件事，因为它从没有"推过"杯子。
• **没有时间连续的感知流**：LLM 的输入是离散的 token 序列，而机器人面对的是每秒 30 帧的视频流、1000 Hz 的 IMU 数据流，这种高速、稠密、连续的感知流是 LLM 不擅长直接处理的。
• **没有动作的"后果感"**：当 LLM 输出"向左转 30 度"时，它并不知道这个动作之后视觉会发生什么变化；它没有"前馈预测—执行—反馈修正"的机制。

这意味着，真正可用的具身智能体必须在 LLM 之外，再装上另外两样东西：一个高速低延迟的反应式控制器（类似于人类的小脑和脊髓反射），以及一个能预测未来会发生什么的世界模型（类似于人类的"想象"和"预演"能力）。

这就引出了本章的第二个主角——世界模型。

---

1.3 世界模型：AI 脑子里的"沙盘推演器"

1.3.1 一个思想实验：蒙眼打网球

请你做一个小小的思想实验。

假设你被蒙上眼睛，被推到一片网球场中央。对方开始发球，你能听到球拍击球的声音、网球落地弹跳的声音、风的声音，但看不到任何画面。在这种条件下，你还能接得住球吗？

大多数人会说"几乎不可能"。但如果你有十年的网球经验，你会发现一个奇怪的现象：你依然能在脑海中"看见"球的轨迹。你知道对方底线发球时球大约以 50 m/s 的速度飞出，知道上旋球落地后会高弹，知道自己的最佳击球点大概在身体前方 1.5 米的位置。这些"画面"不是你真正看到的，而是你脑补出来的，是基于你对网球物理规律的内在理解而生成的一种模拟。

这种"内心模拟"（mental simulation），就是人类在没有完整感知信息时，依然能做出合理决策的关键能力。它让我们不必真的去尝试每一种走法，就能预判哪条路更可能通向目标；它让我们不必真的摔倒一次，就能学会在结冰的路面小心翼翼地走。

世界模型，就是 AI 版本的那种"内心模拟"。

更正式一点说：一个世界模型 $p_\theta(s_{t+1}, r_{t+1} \mid s_t, a_t)$ 是一个参数化的可学习函数，给定当前时刻的状态 $s_t$ 和动作 $a_t$，预测下一时刻的状态 $s_{t+1}$ 和奖励 $r_{t+1}$。其中 $\theta$ 是神经网络的参数。

它的输入是"我现在看到什么 + 我打算做什么"，输出是"接下来会发生什么"。就这么简单。但就这么一个看似朴素的函数，却是过去十年强化学习（RL）和机器人学领域最重要的概念突破之一。

1.3.2 为什么需要世界模型：节约真实世界的试错成本

如果你接触过强化学习，你会发现一种最朴素的范式叫 model-free RL——智能体直接在真实环境里尝试，根据奖励信号调整策略。AlphaGo 就是这样训练出来的：它下了几千万盘棋，每一盘都是真实的算力和真实的胜负。

但在机器人领域，这种"暴力试错"很快就会撞墙。理由有三：

1. 真实环境昂贵且危险：你不可能让机械臂真的去尝试"把杯子推到桌外"——一旦摔碎，一个玻璃杯 5 块钱还在其次，关键是每次失败都会磨损机械臂的关节轴承，真实机器人的硬件损耗远比围棋的算力烧钱。 2. 试错次数受限：围棋可以并行跑几百万局，物理世界里的机器人并行部署一万台成本极其高昂。 3. 奖励稀疏：在一项复杂任务里，"成功"可能发生在几百步动作之后，中间几乎没有反馈信号——这让 model-free RL 几乎学不到东西。

世界模型的价值就在于：它提供了一片"内心的沙盘"。智能体可以在世界模型里"想象"未来的轨迹，评估每种决策的后果，然后只把最有把握的那条路径落地到真实世界。这就像一位将军不必真的把士兵派到每条山谷里侦察，就能在沙盘上预演出最可能的进攻路线。

用强化学习的术语讲，世界模型把 model-free RL 升级成了 model-based RL；用认知科学的术语讲，它给 AI 装上了"前额叶皮层"——负责长远规划和后果推演的那块大脑。

1.3.3 一个朴素的数学图像

让我们把世界模型想得更具体一点。想象一个最小化的场景：桌上有一个小球，你可以施加一个水平方向的力 $a_t$（向左或向右），球的位置是 $x_t$，速度是 $v_t$。真实世界的物理规律（牛顿第二定律 + 摩擦力）告诉我们：

$$x_{t+1} = x_t + v_t \cdot \Delta t + \tfrac{1}{2} a_t \cdot \Delta t^2$$ $$v_{t+1} = v_t + a_t \cdot \Delta t - \mu \cdot v_t$$

其中 $\mu$ 是摩擦系数。这个方程组就是小球的"真实世界模型"。

而 AI 的世界模型 $p_\theta$ 是一个神经网络，它的工作是：在不知道这些物理方程的情况下，仅通过观察 $(x_t, v_t, a_t) \to (x_{t+1}, v_{t+1})$ 的数据样本，自动学出一个尽可能逼近真实动力学的函数。

这个网络可以是一个简单的多层感知机（MLP），也可以是一个循环神经网络（RNN），甚至是一个 Transformer——结构不重要，重要的是它必须满足三个条件：

1. 可学习：能用梯度下降从数据中拟合。 2. 可采样：给定当前状态和动作，能生成合理的下一状态。 3. 可规划：可以被某个决策模块反复调用，用来"想象"未来若干步。

这三件事合起来，就是世界模型区别于其他"看起来很炫的预测模型"的根本。

---

1.4 从 2018 到 2025：世界模型如何从一篇冷门论文变成 AGI 路线图

1.4.1 起点：Ha & Schmidhuber 2018

"World Models"这个名词在 AI 圈真正火起来，始于 David Ha 和 Jürgen Schmidhuber 在 2018 年发表的一篇论文，名字干脆就叫《World Models》。

这篇论文的核心思想极其优雅：他们把一个强化学习智能体拆成三个部分——

• **Vision（V）**：一个 VAE（变分自编码器），把高维图像压缩成低维的隐变量 $z_t$。
• **Memory（M）**：一个 RNN，负责根据历史的 $(z_t, a_t, r_t)$ 序列预测下一时刻的 $z_{t+1}$ 和 $r_{t+1}$。这就是世界模型的本体。
• **Controller（C）**：一个非常简单的线性策略网络，负责根据当前 $z_t$ 选择动作。

三个模块分开训练，最后拼起来，让智能体在游戏里"做梦"——先在真实环境里收集数据训练 V 和 M，再让 C 只在 M 想象出的轨迹上学习。

这篇论文当时在 NeurIPS 上引起了一阵小范围的讨论，但并没有立刻成为主流。原因很简单：2018 年的算力和数据还不够，世界模型预测得不够准，幻觉严重；而且当时的视觉模型也不够强，VAE 压缩出来的隐空间还比较"模糊"。

1.4.2 中段：DeepMind 的 Dreamer 系列

真正让世界模型"立得住"的，是 DeepMind 的 Dreamer 系列工作。

• **Dreamer V1（2019）**：在 Ha & Schmidhuber 的基础上，把 RNN 换成了更稳定的循环状态空间模型（RSSM），并在 Atari 和 DeepMind Control Suite 上证明了：纯在"想象"中训练出的智能体，可以迁移到真实任务上，达到甚至超过 model-free 的 SOTA。
• **Dreamer V2（2021）**：把离散化的隐变量用到了 Minecraft 等更复杂的环境中，验证了世界模型在长视野、稀疏奖励任务上的扩展性。
• **Dreamer V3（2023）**：发布了一个在 150 多个不同任务上"一套超参数通吃"的版本，覆盖了 Atari、DM Control、MyoSuite、Locomotion 等多个 benchmark。Dreamer V3 的出现是一个标志性事件——它证明了世界模型 + 想象的训练范式具有**通用性**，而不是某个特定游戏上的过拟合技巧。

Dreamer 系列确立了一个关键事实：世界模型不只是"让 AI 玩游戏"的小技巧，它是一种可以规模化、可复现的训练范式。

1.4.3 转折点：大模型时代的世界模型复兴

2023-2024 年发生了两件大事，把世界模型从 RL 圈子的小众话题推到了整个 AI 圈的 C 位。

第一件是 OpenAI Sora（2024 年 2 月）。Sora 是一个视频生成模型——给定一段文字描述，它能生成 60 秒、1080p 的连贯视频。但很快人们就意识到，Sora 内部其实"懂物理"：它生成的视频里，水会往低处流、影子会跟着光源走、刚体之间会碰撞反弹。这意味着 Sora 的 Transformer 在训练过程中，隐式地学到了一个关于世界如何运作的模型——它就是世界模型，只是披着视频生成的外衣。

第二件是 Google DeepMind 的 RT-2（2023 年 7 月）和 Physical Intelligence 的 π0（2024 年底）。RT-2 把视觉语言模型（PaLI-X）直接接到机械臂上，用互联网规模的图文数据训练，让机器人具备"看图说话 + 说图操作"的能力。π0 更进一步，引入了"流匹配"的动作生成模块，让 7B 参数的模型可以控制多种不同构型的机械臂完成叠衣服、收拾桌子这种高难度长视野任务。这些工作虽然没有显式地建模世界模型，但它们的成功表明：当模型规模和数据规模足够大时，世界知识会以"涌现"的方式出现在模型里，机器人可以利用这种世界知识做规划。

于是，2024 年起业界出现了一个新的共识：通往 AGI 的路线图上，世界模型和具身智能是不可绕开的一站。这条路线既不像纯 LLM 路线那样"只有语言没有行动"，也不像纯 RL 路线那样"只有反馈没有常识"——它试图把两者结合起来。

1.4.4 一段简短的年表

为了让你更清晰地把握脉络，这里给出一段浓缩的历史：

| 年份 | 里程碑 | 意义 | | --- | --- | --- | | 2018 | Ha & Schmidhuber《World Models》 | 提出三模块范式 | | 2019 | DeepMind Dreamer V1 | 在想象中训练策略成为可能 | | 2021 | Dreamer V2 | 长视野、稀疏奖励下的可扩展性 | | 2022 | Gato、RT-1 | 通用机器人基础模型雏形 | | 2023 | Dreamer V3、RT-2 | 一套超参通用 + 视觉语言动作模型 | | 2024 | Sora、π0、OpenVLA | 视频生成模型被重新解读为世界模型 | | 2025 | Genie 2、V-JEPA 2 | 通用视觉世界模型持续涌现 |

这张表里的每一行，背后都是几十篇论文。我们后面会用单独章节逐一拆解，这里先给你一个全景。

---

1.5 三个常见误解：世界模型 ≠ 物理引擎 ≠ 视频生成模型

讲到这里，你应该对"世界模型"有了一个大致图像。但我必须赶紧澄清三个最常见的误解，否则接下来的章节你会被各种名词搞糊涂。

1.5.1 误解一：世界模型就是物理引擎

错。

物理引擎（physics engine）——比如 Bullet、MuJoCo、PhysX、Drake——是人为编写的、基于刚体动力学方程的仿真器。它们的代码里写死了牛顿第二定律、库仑摩擦模型、碰撞检测算法。物理引擎是"白盒"的、可解释的、确定性的；它的参数通常有明确的物理意义。

而世界模型是从数据中自动学出来的。它不需要你告诉它牛顿第二定律是什么，它只需要看到一堆 $(s_t, a_t, s_{t+1})$ 的样本，就能拟合出一个函数。它是"黑盒"的、不可解释的、可能带有统计偏差的。

打个比方：物理引擎像是一份白纸黑字的《民法典》，每一条法律都写得清清楚楚；世界模型则像一个常年处理纠纷的老法官，他从没读过法律条文，但他的判案直觉比很多新手法官都准——只不过你问他"为什么这么判"，他说不上来。

两者在很多场景下可以互补：物理引擎擅长精确仿真少量已知物理现象，世界模型擅长近似预测那些难以建模的复杂现象（布料、软组织、流体、人群行为）。

1.5.2 误解二：世界模型就是视频生成模型

也不完全对。

Sora、Genie、Veo 这些视频生成模型，乍一看确实像是"世界模型"——它们能预测下一帧画面，而下一帧画面不就是下一时刻的世界状态吗？这种说法有一定道理，但不够严谨。

关键差别在于：世界模型的核心用途是"被规划使用"，而视频生成模型的核心用途是"被观看"。

具体来说：

• 视频生成模型的优化目标是 **像素级的重建质量（PSNR、FID、人类偏好）**，它只要生成的画面看起来逼真就行，不在乎生成的内容是否对决策有用。
• 世界模型的优化目标必须服务于**决策质量**——一个对决策有用的世界模型，哪怕它在像素上看起来模糊、不真实，只要它能帮助智能体预测"如果我往左走会不会撞墙"就够了。

这意味着，在工程上，世界模型往往会选择一种紧凑的、可被规划算法高效调用的状态表征——可能是一个 64 维的隐向量，可能是一段符号化的场景描述，而不一定是高分辨率的视频帧。这也是为什么本书后面会花大量篇幅讨论 latent dynamics、tokenized world models、JEPA（联合嵌入预测架构）这些看起来"反像素"的设计——它们牺牲视觉保真度，换取决策可用性。

1.5.3 误解三：世界模型就是模拟器

还是不对。

模拟器（simulator）通常指一个完整的、可独立运行的环境——比如 CARLA（自动驾驶模拟器）、Isaac Sim（机器人模拟器）、Habitat（室内导航模拟器）。它们不仅包含物理规律，还包含场景资产、传感器模型、任务定义、奖励函数。模拟器是"一个世界"，世界模型是"关于这个世界的一个预测器"。

打个比方：如果模拟器是一台完整的街机，那世界模型就是这台街机里那个"算下一帧画面"的显卡芯片。显卡可以装在不同的街机里，可以服务于不同的游戏；模拟器本身就是一个具体的游戏。

三者关系总结如下：

| 概念 | 本质 | 是否数据驱动 | 是否服务于规划 | | --- | --- | --- | --- | | 物理引擎 | 手工编写的物理方程求解器 | 否 | 间接 | | 模拟器 | 完整可运行的环境（含物理 + 资产 + 任务） | 通常含数据驱动组件 | 间接 | | 视频生成模型 | 数据驱动的像素预测器 | 是 | 否（生成用于观看） | | **