第一章：当机器开始'做梦'——一个问题的诞生 / Chapter 1: When Machines Begin to Dream — The Birth of a Question

当机器开始"做梦"——一个问题的诞生

2017：两条命运的岔路 / Two Roads Diverged in 2017

2017 年 12 月 5 日，DeepMind 实验室的 AlphaGo Zero 仅用 36 小时的自对弈训练，就以 100:0 的战绩碾压了击败人类世界冠军李世石的 AlphaGo Master。这意味着什么？人类在围棋领域积累的 2500 年技艺——从尧造围棋、教丹朱，到吴清源、木谷实开创的新布局时代，到李世石与 AlphaGo 的人机大战——所有这一切棋谱所承载的人类智慧，被一个没有任何人类棋谱输入、只知道规则与胜负的算法，在不到两天的时间内全部超越。/ On December 5, 2017, DeepMind's AlphaGo Zero, trained on just 36 hours of self-play, defeated the version of AlphaGo that had beaten world champion Lee Sedol with a perfect 100:0 record. What does this mean? All the human wisdom accumulated over 2,500 years of Go — from the legendary invention of the game to the revolutionary new openings of Go Seigen and Kitani Minoru — everything encoded in human play, was surpassed in under two days by an algorithm that received no human game records, only the rules and the outcome.

更令人震撼的是训练曲线。它并非通过蛮力堆叠 GPU 算出答案，而是以一种近乎"顿悟"的方式学会了整盘棋的策略——开局定式、中盘战斗、官子收束——仿佛一个从未见过棋盘的天才在数日内参透了人类千年才摸索出的道理。在 AlphaGo Zero 的内部，神经网络在每一手棋前都会"想象"（imagine）未来数百步的棋局变化，挑选出胜率最高的那一手。这种"在行动之前先在心里跑一遍"的能力，正是后来我们将反复提及的世界模型（World Model）的雏形——尽管当时没有人这样命名它。

而就在同一年，太平洋另一端的波士顿动力（Boston Dynamics）公司发布了 Atlas 机器人的最新演示视频。视频里，这个造价数百万美元的人形机器人可以在野外小跑、跳过原木、甚至完成一个后空翻——但也频繁地摔倒。当它在雪地里失去平衡踉跄几步、当它搬运纸箱时被人类工程师用曲棍球棒故意推搡、当它站在高高的木箱上犹豫不决，旁观者既感到敬畏又感到不安：这个能用双腿穿越崎岖地形的机器，为何显得如此脆弱？/ Yet in the same year, on the other side of the Pacific, Boston Dynamics released new demonstration videos of its Atlas robot. The humanoid, costing millions of dollars, could jog through the woods, leap over logs, even perform a backflip — but it also fell frequently. When it stumbled in the snow, when it was deliberately shoved by an engineer with a hockey stick while carrying boxes, when it hesitated atop a tall stack of wooden crates, viewers felt both awe and unease: why did a machine capable of traversing rough terrain on two legs seem so fragile?

这两种"智能"在 2017 年的反差，构成了本书的第一个核心隐喻：一个在符号世界里登峰造极的 AI，为何在物理世界里步履蹒跚？ / The contrast between these two forms of "intelligence" in 2017 forms the first central metaphor of this book: why does an AI that reaches transcendence in symbolic worlds stumble in the physical one?

答案并不复杂，却也意味深长：因为它没有"世界"（it has no "world"）。围棋的所有状态——361 个交叉点上的黑子、白子或空位——构成了一个封闭的、自洽的、可穷举的符号宇宙。但波士顿动力的 Atlas 面临的，是 64 维状态向量远远无法描述的真实物理世界：地面摩擦力的微变、地板上一滩水渍的滑动、一阵侧风对质量分布的影响、关节中液压油的温度漂移——这些因素以指数级的组合方式涌现，没有任何一张棋谱能事先告诉它答案。

AlphaGo Zero 拥有 19×19 棋盘的完美模型——所有规则、所有后果、所有棋局——而 Atlas 拥有的，只是工程师用手工调教出来的反馈控制回路（feedback control loop）。前者在一个可完全模拟（fully simulable）的世界里运作，后者在一个只能部分感知、永远不可完全预测的世界里挣扎。这条分水岭，正是我们本章要深入展开的核心命题。

一个问题的诞生：机器为何不能"做梦"？ / The Birth of a Question: Why Can't Machines Dream?

要回答上述反差，我们必须将目光转向 2010 年代中期深度强化学习（Deep Reinforcement Learning）的内部构造。彼时主导这一领域的，是一种被称为 model-free（无模型）的方法论——以 Deep Q-Network（DQN，2015）、Asynchronous Advantage Actor-Critic（A3C，2016）、Proximal Policy Optimization（PPO，2017）为代表的方法横扫 Atari 游戏、围棋、象棋、扑克。/ To understand this contrast, we must turn to the internal architecture of deep reinforcement learning in the mid-2010s. The dominant paradigm then was model-free methodology — DQN (2015), A3C (2016), PPO (2017) — methods that swept Atari games, Go, chess, and poker.

所谓 model-free，是指智能体不显式地学习环境的状态转移函数 $P(s_{t+1} | s_t, a_t)$ 与奖励函数 $R(s_t, a_t)$，而是通过反复试错（trial-and-error），将"在状态 $s_t$ 下采取动作 $a_t$ 的价值"直接参数化进策略网络 $\pi_\theta(a_t | s_t)$ 或价值网络 $Q_\phi(s_t, a_t)$ 中。换言之，智能体并不理解物理规律，它只是记住了"这么做会赢"。这是与 model-based（有模型）方法——显式地学习一个世界动力学模型、并在模型中进行规划（planning）或推演（rollout）——相对立的范式。

AlphaGo Zero 本质上是一个双重系统（dual system）。它的策略网络 $\pi_\theta$ 与价值网络 $V_\phi$ 是 model-free 部分（直接预测胜率与下一步落子分布），但真正让它超越人类的，是它内嵌的蒙特卡洛树搜索（MCTS, Monte Carlo Tree Search）——MCTS 在决策前会对未来棋局进行数千次的"虚拟对弈"，而这些虚拟对弈之所以可能，完全依赖于围棋规则这一完美的世界模型：每一步棋导致的棋盘状态变化是确定性的、可逆的、可计算的。

而 Atlas 没有这种奢侈。它的每一个动作——迈步、抓取、跳跃——都发生在连续、不可逆、高维的真实物理状态空间中。它没有内部模型来回答"如果我现在把重心左移 3 厘米，同时右臂以 2 米/秒的速度向前伸出，会发生什么？"这种问题。于是它只能依靠反馈控制与多年的手工调教，而无法像 AlphaGo Zero 那样"在想象中进化"。

这就引出了我们本章最核心的论断，也是全书叙事张力的源头：

> 物理世界中的智能体，要做到真正的泛化与高效学习，必须在内部构建一个可学习、可推演、可想象的"世界模型"。没有世界模型，物理智能就是无源之水。 > > *Intelligent agents operating in the physical world must, to achieve genuine generalization and sample efficiency, construct an internal learnable, rollable, and imaginable "world model." Without a world model, physical intelligence is water without a source.*

读者可能会立刻反驳：但 2017 年那波深度强化学习的浪潮难道不正是依赖 model-free 方法的吗？是的，但它成功的领域——Atari、围棋、Dota 2、星际争霸——都有一个共同特点：仿真器廉价且完美。在仿真器中，我们可以让智能体打 1 亿局游戏、训练一周，这在物理世界是不可想象的。一个真正在物理世界中运行的机器人——无论是自动驾驶汽车、机械臂还是人形机器人——它每一次与环境的交互都要消耗时间、能量、硬件损耗，更重要的是，每一次交互都不可逆地改变世界状态。

这就引出了样本效率（sample efficiency）这一关键指标。一个 model-free 的智能体在 GridWorld 中可能需要 10,000 个 episode 才能学会到达目标，而一个具有世界模型的智能体可能只需要 1,000 个 episode——10 倍的效率差异在仿真器中无足轻重，但在物理世界中意味着数天与数月、安全与事故、研究可行与不可行的区别。我们将在后面的实践环节用具体数字量化这一差异。

世界模型：从图灵到布鲁克斯的思想史 / World Models: A Brief Intellectual History

理解"世界模型"这一概念，不能只看近十年的强化学习文献。它的思想根源深植于二十世纪中叶以来的认知科学与人工智能哲学。/ To understand "world models," we cannot look only at the past decade of reinforcement learning literature. Its intellectual roots lie deep in mid-twentieth-century cognitive science and AI philosophy.

一切的起点是 1950 年。那一年，图灵（Alan Turing）发表了那篇划时代的论文《计算机器与智能》（*Computing Machinery and Intelligence*），开篇便抛出那个著名的问题："机器能思考吗？"（*Can machines think?*）他给出的不是定义，而是替代问题——模仿游戏（imitation game）。值得注意的是，图灵在论文第六节就明确指出，要让机器通过模仿游戏，它必须具备"学习"和"经验"的能力——而学习的本质，是构建关于外部世界的可调适表征（adaptable representation of the external world）。这正是"世界模型"的胚芽，只是图灵没有用这个词。

接下来近 30 年，AI 沿着"符号主义（symbolism）"的路径高歌猛进。Newell 与 Simon 的"物理符号系统假设"（Physical Symbol System Hypothesis, 1976）认为智能的核心是对符号的操控；而在这些系统中，符号之间的推理规则（rules）就构成了一个"世界模型"——尽管这种模型是人类手工编码（hand-coded）的，而非机器学习得到的。SHRDLU、Cyc、知识图谱，这些上世纪 70-90 年代的 AI 系统，都属于这一传统。

然后是 1986 年，Brooks 的颠覆性论文《没有表征的智能》（*Intelligence Without Representation*）。他用臭名昭著的——或者说，革命性的——机器人 Genghis（成吉思）证明：一个六条腿的简单爬行机器人，仅靠底层行为层（layered behavior architecture）的反应式控制，无需任何内部表征，就能稳健地在复杂地形上行走。这就是著名的包容架构（Subsumption Architecture）。Brooks 的论断掷地有声："世界本身就是它最好的模型（the world is its own best model）。" 这句话后来被无数人引用、误解、误用。它真正想表达的意思是：在许多场景下，智能体不需要一个显式的、可推理的内部世界模型，让传感回路直接驱动动作就足够了。

Brooks 的论断在工程上是正确的，但他在哲学上走得太远了。后来的认知科学家反复指出，Brooks 的反应式机器人之所以"够用"，是因为任务足够简单、感知与动作之间的映射足够直接。一旦任务变得复杂——比如让机器人理解"杯子是用来喝水的容器，它可以被拿起来、被倾倒、可以被敲碎成 7 块、可以在被问到时指出位置"——纯反应式系统就捉襟见肘了，因为它无法在行动之前预演后果。

这就把我们带到了认知科学中"心智即世界模型"（Mind as World Model）的传统。从 Hermann von Helmholtz 在十九世纪提出的"无意识推断"（unconscious inference），到 James Gibson 的"可供性"（affordance）理论，到 Karl Friston 在 2010 年代的自由能原理（Free Energy Principle）——这条线索一以贯之：大脑是一个预测机器，它持续地构建关于外部世界的生成模型（generative model），并通过最小化预测误差来更新这个模型。 当你伸手去抓一个杯子却抓空时，这种"惊异"（surprise）正是世界模型被证伪的信号。

进入深度学习时代，2015 年，来自瑞士 IDSIA 的 Jürgen Schmidhuber 与他的学生 David Ha 等人开始系统地研究一个看似大胆的设想：能否训练一个神经网络，让它在 Atari 像素空间直接学习环境的"世界模型"，然后在模型内部进行"做梦"（dreaming）——即在模型生成的虚拟轨迹上训练策略？这一思路在 2018 年被正式命名为 World Models 论文（Ha & Schmidhuber, *World Models*, NeurIPS 2018）。论文的核心洞见是：智能体可以将其神经网络分解为三个部分——视觉编码器 $V$（将高维观察压缩到低维潜在状态）、动力学模型 $M$（预测下一潜在状态）、控制器 $C$（基于潜在状态决策）。其中，$M$ 就是世界模型。

几乎同期，DeepMind 的 Dreamer 系列工作（Hafner et al., 2019, 2020, 2021, 2023）将这一思路推向新高度。Dreamer 完全在潜在空间（latent space）中学习世界动力学 $p(s_{t+1}, r_t | s_t, a_t)$，然后在模型内部"做梦"——即在想象轨迹上训练策略——而不需要任何来自真实环境的额外交互。2023 年发布的 DreamerV3 在 Minecraft 中从零开始学会了收集钻石，全程无需人类演示，仅依赖世界模型生成的"梦境经验"。这是 model-based 方法的高光时刻。

到 2022-2024 年，Yann LeCun 提出的 JEPA（Joint Embedding Predictive Architecture）与 V-JEPA 2（Meta AI, 2024）进一步把世界模型推到自监督学习的中心。LeCun 明确宣称："世界模型是走向通用人工智能的关键拼图之一。世界是 4D 的，AI 必须学会预测世界如何运转。" 在 2024 年底 Meta 发布的 V-JEPA 2 中，模型已经能基于视频预测未来帧的抽象表征，用于机器人规划。这是世界模型从概念走向工业部署的里程碑。

简而言之，从 1950 到 2024，"世界模型"这一思想走过了七十年迂回曲折的道路：符号主义时期它是手工编码的规则库；反应式 AI 时期它被布鲁克斯短暂地否定；深度学习时代它以可学习神经网络的形式复活，并在 2020 年代成为具身智能（embodied AI）的核心引擎。本书要做的，就是为读者呈现这场仍在加速的认知革命。

术语锚定：什么是世界模型？什么是具身智能？ / Anchoring the Terms: What is a World Model? What is Embodied AI?

在进入实践之前，我们必须把两个核心术语精确锚定。模糊的定义会导致后续章节的论证失焦，因此本节是全书术语体系的基石。/ Before entering practice, we must precisely anchor two core terms. Vague definitions will cause later arguments to lose focus, so this section is the cornerstone of the book's terminology.

世界模型（World Model）的精确定义 / World Model: A Precise Definition

我们给世界模型如下工作定义：

> **世界模型是智能体对环