当机器学会了做梦 — 引言：世界模型与具身智能的崛起

第 1 章：当机器学会了做梦 — 引言：世界模型与具身智能的崛起

1.1 慕尼黑的那一夜：当四足机器人在「梦境」中学会跑酷

2018 年冬，慕尼黑工业大学（TUM）机器学习与机器人学实验室的监控录像记录下了一个后来被反复回放的画面：一只 ANYmal 四足机器人在走廊尽头被推倒，它没有倒下，而是用一种略带笨拙、却极具适应性的姿态在二十秒内连续跨越了随机堆放的箱子、台阶与软垫。录像之外，真正让研究者夜不能寐的不是这二十秒本身，而是另外一千六百万个「二十秒」——它们都发生在 GPU 显存里那座由 200 万个参数构成的小型「世界」中。

这段录像背后的技术链，正是 David Ha 与 Jürgen Schmidhuber 在同年 NeurIPS 上发表的 *World Models* 论文所开创的范式：一个压缩的、潜在空间中的环境动力学模型充当「梦境」，策略网络（controller）在这个梦境中以数百万倍于真实时间的速度反复试错，最终迁移到真实物理世界。它在 *CarRacing-v0* 上的得分从传统强化学习方法的 600 量级一跃至 906，逼近人类水平，而所消耗的真实环境交互步数只有传统方法的几百分之一。

读者可以把这一时刻视作现代 AI 的一个隐喻性分水岭：智能体第一次不是在与现实「对话」，而是在与现实的一个可微、可干预、可反事实推演的「压缩副本」对话。本章的命题正由此而来——真正的具身智能，要求机器人在内部构建一个世界模型（World Model）。感知是入口，动作是出口，而世界模型是连接二者的、可被反复「把玩」的中介物。

1.2 为什么反应式控制不够：Brooks 遗产的边界与具身 AI 的核心矛盾

要理解世界模型为何是必要的，我们必须先理解它试图替代的是什么。1986 年，Rodney Brooks 在他的著名论文 *Intelligence Without Representation* 中提出了一种近乎异端的观点：智能不需要中央的世界模型，复杂行为可以从一系列简单「感知—动作」回路的并发执行中涌现出来。这种行为主义机器人学派（Behavior-Based Robotics）在六足昆虫机器人 Genghis 上取得了惊人的鲁棒性，并在随后三十年间成为波士顿动力、Agility Robotics 等一系列公司的工程信条。

Brooks 的论证在当时是无懈可击的：当硬件尚未成熟、感知噪声巨大、计算资源稀缺时，与其花费精力维护一个会持续产生误差的内部世界地图，不如让机器人「看一步走一步」。这也是为什么传统 MPC（Model Predictive Control）方法在高度结构化的工业场景中至今仍是黄金标准——它本质上就是带有短时显式模型的反应式控制。

但当任务从「已知地形上的步态跟踪」迁移到「在未知客厅里帮老人取药」时，反应式策略会暴露三个不可调和的矛盾。这构成了具身 AI 研究的核心三角困境（参见图 1.1）：

1. 样本效率（Sampling Efficiency）：真实机器人每一步交互都要付出时间、磨损、安全代价，深度强化学习在 Atari 上消费的两亿步相当于机器人连续运行十五年。反应式策略不压缩历史，因此无法从有限交互中蒸馏出可复用的知识。

2. 泛化性（Generalization）：纯粹的反应式策略对训练分布之外的扰动极其脆弱。一个在工厂地面上跑通的抓取策略，遇到一块反光率更高的桌面就会失效，因为它学到的不是「杯子与桌面的因果关系」，而是「特定像素到特定关节角的映射」。

3. 长时规划（Long-Horizon Planning）：让机器人「先去厨房把水壶拿来，然后去书房递给老人」这类任务，反应式策略在 1 到 2 秒的感知-动作循环中根本无法展开搜索树。规划本身要求对未来数十步状态进行可推演的预测，而 Brooks 范式中根本没有「未来」这一概念。

这三个约束在数学上等价于一个三难问题（trilemma）：你只能优化其中两个，第三个必然塌缩。工业机器人学选择了泛化性 + 长时规划（用高保真动力学模型 + 显式规划），代价是任何模型外扰动都会让它卡死；端到端模仿学习选择了样本效率 + 泛化性（数据增强 + 大模型），代价是任务长度被锁死在几秒内；经典 RL 选择了样本效率 + 长时规划（带折扣的 Bellman 方程），代价是泛化性塌缩到训练分布的 ε 邻域。

世界模型之所以成为 2018 年之后具身 AI 范式重构的支点，正是因为它以潜在空间中的可学习预测这一单一机制，同时缓解了上述三个约束——这是后文将要展开的核心论点。

1.3 世界模型的定义：在智能体内部对环境动力学的可学习压缩

「世界模型」一词在文献中至少有四种不同强度的含义，本书采用如下操作性定义：

> 世界模型是智能体内部的一个参数化函数 $f_\theta: (\mathcal{S}, \mathcal{A}) \rightarrow \mathcal{S}$，它在某个潜在状态空间（latent state space）$\mathcal{S}$ 中近似环境的状态转移动力学 $p(s_{t+1} | s_t, a_t)$，并具备足够好的可微性与采样效率，使得规划、反事实推理与策略学习可以在不直接调用真实环境的前提下进行。

这个定义中有三个要素值得拆解，它们也是判断一个具身系统是否真正具备世界模型的判据。

要素一：潜在空间的压缩性。 直接在像素空间建立动力学模型是反生产性的——原始视频流的维度是 $10^5$ 起步，且绝大多数维度对决策无关。Ha & Schmidhuber 在 2018 年的方案是用一个 VAE（Variational Autoencoder）把每一帧压缩为长度 32 的向量 $\mathbf{z}_t$，再用一个小型 RNN $h_t = f_{\text{RNN}}(h_{t-1}, \mathbf{z}_{t-1}, a_{t-1})$ 预测下一个 $\mathbf{z}_{t+1}$。DreamerV2 进一步发现，对奖励的预测也可以在潜在空间完成，从而彻底把策略学习推入「梦境」。这种压缩不是工程便利，而是结构先验：智能体在每个时间步只能持有有限信息，因此世界模型必须是一个有损的、面向任务的抽象。

要素二：可微性或可采样性。 仅仅「会预测」还不够，世界模型必须支持基于梯度或基于采样的优化。当下三种主流路线分别为：(a) 端到端可微的潜在动力学（如 Dreamer 的 RSSM 模块），规划时通过 reparameterization trick 打通梯度；(b) 生成式离散 tokenizer（如 IRIS 用 VQ-VAE 把每帧离散化为 512 个 token 之一），再用一个 Transformer 预测下一组 token，借助自回归离散采样完成「想象」；(c) 视频扩散模型（如 Sora、Genie 2），用扩散过程中的可微 score 实现规划。三条路线在压缩粒度、可微性、长期一致性之间各有取舍，但都满足「不需调用真实环境即可生成轨迹」这一最弱判据。

要素三：与规划/策略的耦合方式。 这也是世界模型与「无脑生成式视频模型」的分水岭。一个无法在内部支撑动作搜索的世界模型，本质上只是一个视频预测器（如早期的 PredNet）。真正的世界模型必须支持反事实干预（counterfactual intervention）：当智能体考虑「如果我换一个动作，会发生什么」时，世界模型能够给出这个反事实问题的稳定答案。LeCun 在 2022 年关于 *A Path Towards Autonomous Machine Intelligence* 的提案中，把这一能力称为 *Predictive World Models* 的核心，并明确指出它不同于纯生成式视频模型的「盲预测（blind prediction）」。

Yann LeCun 著名的「蛋糕比喻」可以放在这里作为注解：他说「如果智能是一块蛋糕，那么自监督学习是蛋糕的主体，监督学习是蛋糕上的糖霜，而强化学习只是蛋糕顶上的那颗樱桃。」当他说这句话的时候，他其实是在为世界模型正名——自监督学习之所以能成为蛋糕主体，是因为它能通过预测未来来学习世界模型，而不是仅仅在像素级别重建过去。

1.4 想象式学习的胜利：从 World Models 到 Dreamer、IRIS 与 Sora

抽象定义必须落到具体数字上才有意义。本节给出四个有代表性的里程碑式实验，它们共同验证了「在世界模型内部进行学习」这一范式的工程可行性。

实验一：CarRacing-v0 与 *World Models* 原始版本。 任务是从第三人称视角驾驶赛车沿随机生成的赛道行驶，每秒 50 帧像素。Ha & Schmidhuber 的策略网络仅有 867 个参数，却因为其下游决策完全发生在 VAE + RNN 构成的潜在世界里，所以整个训练过程只消耗了约 1000 回合真实交互（同等效果的传统方法 A2C 需要数十万回合）。更耐人寻味的是，他们发现策略网络对 VAE 的输出几乎完全「视而不见」——它仅依赖 RNN 的隐藏状态就能完成决策。这意味着智能体真正在操控的，是自己内部对世界的「心智表征」。

实验二：DeepMind Dreamer 系列在 Minecraft 中超越人类水平。 Minecraft 是一个开放世界游戏，要求智能体从零开始完成「砍树 → 合成工作台 → 制作木镐 → 挖掘钻石」等长达数十步的复杂任务，每一步的失败都会让整条链断裂。Dreamer（2019）、DreamerV2（2020）、DreamerV3（2023）三代系统使用一个名为 RSSM（Recurrent State-Space Model）的潜在动力学模块，在内部「想象」未来轨迹，然后通过 *latent imagination* 直接在潜在空间内做 actor-critic 优化。DreamerV3 的关键突破是同一套超参数在 150 多个不同任务上达到人类水平，包含了 Minecraft 的「获得钻石」任务——而人类玩家平均需要 20 分钟、约 24000 个动作。Dreamer 实际在真实环境中只采集了数百万步，但通过在潜在世界中的「想象重放」，相当于在 GPU 内部经历了数亿年的「练习」。

实验三：DeepMind IRIS 与离散世界模型。 2022 年，Micheli 等人在 *IRIS: Transformers for Sample-Efficient Long-Horizon Prediction* 中把世界模型的压缩方式从连续 VAE 转向了离散 VQ-VAE，每一帧被压缩为 16 个来自 512 词表的 token 序列。Transformer 在这些离散 token 上做自回归预测，由此获得一个完全离散的、便于推理的潜在世界。IRIS 在 Atari 100k（仅十万步真实交互，约为人类玩家三十分钟的游戏时长）基准上达到了 1.046 的中位数归一化人类相对分数，刷新了同数据量下的世界纪录。离散化的优势在于：Transformer 的 long-context 能力使得智能体可以在想象中「回溯」到数分钟前的状态，这对于需要长记忆的迷宫类、策略类游戏至关重要。

实验四：Sora 与视频生成作为世界模型的萌芽。 2024 年 OpenAI 发布的 Sora 在物理直觉上展现出的「世界模型」特征引发了广泛讨论：它能模拟刚体碰撞、流体行为、3D 一致性，提示大规模视频生成模型可能自发地学到了关于世界动力学的压缩表征。DeepMind 的 Genie 2 进一步把这一能力引向交互式：智能体可以「走入」生成的视频并采取动作，观察因果反馈。这并不等同于完整的世界模型（它们的反事实推理能力仍有限），但它们证实了一件事——当模型规模、数据规模与训练目标三者的尺度匹配时，世界的可预测结构会以涌现的方式从数据中浮现。这与 Judea Pearl 2018 年在 *The Book of Why* 中提出的「因果阶梯（ladder of causation）」的最低一级「观察」已相当接近。

这四个实验有一条共同的暗线：智能体对真实环境的访问正在被「想象」所替代。样本效率的提升不是工程优化，而是范式跃迁。它从经验上回应了 1.2 节提出的三难问题——只要潜在世界足够准确，样本效率、泛化性、长时规划可以在同一架构下被同时改善。

1.5 判别一个具身系统是否拥有世界模型：一个三轴心智模型

综合前文分析，本书向读者提出一个可操作的判别框架。任何具身系统都可以从以下三个轴向被打分：

• **前向预测（Forward Prediction）**：给定当前状态 $s_t$ 与动作序列 $a_{t:t+H}$，系统能否在内部生成未来状态 $\hat{s}_{t+1:t+H}$？这一能力的最低要求是数值稳定性（生成的轨迹不发散）与短期一致性（至少在 1 秒时间尺度上预测误差低于阈值）。

• **反事实推理（Counterfactual Reasoning）**：当动作序列被改变时，预测的轨迹是否能做出**因果一致**的响应？这比前向预测更严苛——它要求系统区分了「世界会因为我的动作而改变」与「世界会自行演化」这两类动力学。

• **基于想象的规划（Imagination-Based Planning）**：系统能否在内部反复生成反事实轨迹，并基于某种目标函数（奖励、价值、约束）从中挑选最优动作？这一能力使得「规划」可以在 GPU 上以毫秒级进行，而不再依赖真实环境的慢速回放。

只有这三个轴向同时为正，系统的行为才可以被称为「基于世界模型」。而判断它是否强大，则进一步要看想象的速度（每秒钟可以模拟多少真实秒）、一致性（想象与现实的可迁移性）和可干预性（能否在想象空间中任意分支）这三条附加指标。

为了让上述心智模型可见化，图 1.1 给出一个具身智能系统的总体架构流程图。读者在阅读后续章节时，可以随时回到这张图上确认各组件在世界模型架构中的位置。

```mermaid flowchart LR A[Perception<br/>感知] --> B[World Model<br/>世界模型] B --> C[Imagination<br/>想象/反事实] C --> D[Planner<br/>规划器] D --> E[Action<br/>动作] B --> F[Memory<br/>长程记忆] F --> B E --> A ```

图 1.1　具身智能系统的总体架构：感知为入口，世界模型为内部模拟器，想象产生反事实轨迹，规划器从中挑选动作并执行；闭环回到感知，长程记忆与世界模型双向耦合。

需要注意，这张图不是某篇具体论文的复刻，而是对过去六年具身 AI 研究成果的去实现细节化抽象。Dreamer 把 C 与 D 合并在 latent imagination 中，IRIS 把 B 替换为离散 Transformer，Sora 暂时还没有 D，但架构骨架是一致的。读者在阅读第 4 章对 DreamerV3 的代码级剖析时，会发现这张图如何被具体化为 PyTorch 模块；而在第 7 章对 Sora 的可干预性局限进行讨论时，会看到这张图在 D 处「缺位」时会产生哪些失败模式。

1.6 2024 年的隐喻：诺贝尔奖、基础模型与一个新范式的轮廓

2024 年 10 月，瑞典皇家科学院将诺贝尔物理学奖授予 John Hopfield 与 Geoffrey Hinton，以表彰他们「通过人工神经网络实现机器学习的基础性发现」。这一选择在 AI 社区引发了关于学科归属的广泛讨论，但很少有人注意到颁奖词中的一个微妙措辞——「基础性发现（foundational discoveries）」。Hinton 在 2006 年关于深度信念网络的论文，以及 2012 年 AlexNet 横扫 ImageNet 的工作，本质上都是在回答同一个问题：机器能否从数据中自发学到对世界的层级化表征？

把 2024 年诺贝尔奖与同年 Sora、Genie 2、Helix、Pi-0 等一系列「世界模型 + 具身智能」成果放在同一个时间窗口内观察，一种范式轮廓变得清晰：

• **感知层**已从单一模态（视觉、语音）转向多模态大模型（VLM/VLA），由 Hinton 一脉的深度表征学习奠基。
• **世界模型层**正在从「任务特定的潜在动力学」向「可迁移的、大规模预训练的世界模拟器」演化，Hopfield 网络所启发的联想记忆机制在其中以新的形式回归（可参见第 9 章对记忆增强世界模型的讨论）。
• **规划与动作层**则被强化学习与模型预测控制的最新结合（Model-Based RL, MPC-RL）所重塑。

三者合流，意味着具身 AI 正在从「为单个任务设计一个智能体」走向「为一个通用智能体注入世界、感知、动作三种基础能力」。这是 2024 年这个时间点最值得记住的一件事情，也是本书余下十四章所要展开论证的核心命题。

本章小结

回到本章开篇的那只慕尼黑机器狗。二十秒的真实奔跑背后，是一千六百万步的潜在想象；TUM 实验室窗外飘落的雪花与 GPU 显存里抽象为 32 维向量的「梦境」，在数学上同构。这就是世界模型这一概念的力量：它让智能体从「对刺激的反应者」变成「对可能性的探索者」。

沿着这一隐喻，本章建立了如下四项关键判断，它们将作为后续章节的锚点反复出现：

• **具身 AI 的三难约束**（样本效率、泛化性、长时规划）使得纯反应式 Brooks 范式不足以应对开放环境；世界模型是对这一三难问题的范式级回应。
• **世界模型**在严格意义上要求潜在空间压缩、可微/可采样、与规划耦合三要素同时满足；它不等价于视频生成器，也不等价于 SLAM 地图。
• **想象式学习**已在 CarRacing、Minecraft、Atari、机器人操控等多个任务域上得到验证，并从离散、连续、扩散三条技术路线相互印证。
• **2024 年的诺贝尔奖、基础模型与具身系统的合流**标志着一个新范式的轮廓，其特征是「世界模型 + 具身智能」作为统一架构取代「感知 + 分类器 + 反应」的旧栈。

然而，世界模型的「能想象」并不自动等于「想象得好」。一个关键问题悬而未决：当智能体进入潜在世界，它如何知道自己「想」得对不对？这一追问把我们推向一个更古老的源头——具身认知（embodied cognition）的哲学起源。认知科学传统中的现象学、动力系统理论、生态心理学在 1980 年代就为「心智-身体-环境」的耦合提供了远比 Brooks 更具张力的论证。第 2 章将回溯这一哲学与技术交织的源头，回答一个前置问题：为什么「世界模型」必然是具身的，而非纯符号或纯神经网络的？