具身智能与世界模型：核心概念与历史脉络

引言：一个没有"想象"的机器人，能不能算作智能？

2016 年，DeepMind 团队在论文 *Mastering the game of Go with deep neural networks and tree search* 中报告了一个看似平凡却意义深远的细节：AlphaGo 在每一步落子之前，会在内部"推演"出数百种可能的棋局，并据此选择胜率最高的那一手。这并不是围棋棋手的特权——任何一个有经验的司机在转弯前都会"在脑子里"预演一次轮胎的轨迹，外科医生在切第一刀之前已经看见了血管的走向。这些推演并不发生在外部世界，而是发生在主体对世界的*内部表征*（internal representation）之中。本书要追问的核心问题由此浮现：具身智能体（embodied agent）究竟需不需要一个关于世界的内部模型？如果需要，这个模型应当长什么样？

在机器人学（robotics）、强化学习（reinforcement learning, RL）和生成式人工智能（generative AI）这三个独立演进的领域里，这个问题在 2020 年之后以惊人的方式汇聚到了一起。LeCun 在 2022 年的 position paper *A Path Towards Autonomous Machine Intelligence* 中明确提出了 JEPA（Joint Embedding Predictive Architecture）路线图，把"世界模型"放在自主智能的核心位置；DeepMind 在 2024 年发布的 Genie 系列则把世界模型推向了"可交互的视频生成"；与此同时，Figure、Apptronik、Sanctuary 等人形机器人公司开始把世界模型作为产品级技术栈的关键一环。可以说，"世界模型"（world model）这个词在 2025 年已经从学术名词变成了产业关键词。

但喧嚣之下，概念的边界却越来越模糊：有人说世界模型就是"用神经网络压缩环境的自回归模型"，有人说世界模型是"智能体脑中的物理引擎"，还有人把它等同于"潜空间（latent space）的动力学"。本章的目的，是把这些散落的含义整理成一个统一的概念坐标系，并建立起贯穿全书的术语体系。读完本章，读者应当能够回答三个问题：（1）什么是具身智能，它和经典 AI 有什么本质区别？（2）世界模型在智能体中扮演哪几种功能角色？（3）我们应当用什么样的分层架构来组织整个系统？

---

1.1 具身智能的形式化定义：与符号 AI、纯 RL 的三分天下

1.1.1 从"离身智能"到"具身智能"的范式转移

在 1956 年达特茅斯会议之后的近四十年里，人工智能的主流范式是*符号主义*（symbolism）：智能被理解为对离散符号的逻辑操作，输入是被处理成谓词逻辑（predicate logic）的命题，输出是定理证明或规划解。Newell 和 Simon 的 *Physical Symbol System Hypothesis* 明确指出，"一个物理符号系统具备产生一般智能行为的必要与充分手段"。在这种范式下，机器是否拥有身体（body）并不重要，重要的是它是否能操纵符号。

1980 年代兴起的*强化学习*则把智能重新定义为一个"在与环境交互中最大化累计奖励"的函数逼近问题。Sutton 和 Barto 在 1998 年的经典教材中给出的形式化框架——马尔可夫决策过程（Markov Decision Process, MDP）——彻底绕开了符号，只留下状态 $s$、动作 $a$、奖励 $r$ 和转移函数 $P(s'|s,a)$。在这种框架下，智能体是否有身体也不重要，重要的是它能否在试错中学到一个策略 $\pi(a|s)$。

*具身智能*（embodied AI）则对前两种范式提出了双重否定。它的核心主张可以概括为一句话：智能不是发生在头颅里的孤立计算，而是身体、环境、任务三者耦合的产物。这一立场最早可以追溯到 Merleau-Ponty 的现象学（phenomenology）和 Gibson 的生态心理学（ecological psychology），并在 Rodney Brooks 的 *subsumption architecture*（包容式架构，1986）中获得了工程化表达。Brooks 著名的论断是："the world is its own best model"——与其让机器人维护一个对世界的内部表征，不如让世界本身成为表征。

然而纯粹的 Brooks 主义很快就遇到了瓶颈：没有内部模型的机器人只能对即时刺激做出反应，无法做长程规划（long-horizon planning），也无法从一次失败中抽象出可迁移的知识。这正是 LeCun 在 2022 年那篇论文中提出的核心反驳：世界模型*不是*可有可无的工程冗余，而是*自主机器智能*（autonomous machine intelligence）的必要组件。具身智能的现代含义，因此不再是"反对内部模型"，而是"以身体为锚点来组织内部模型"。

1.1.2 形式化定义：具身智能的三元组

我们给具身智能体（embodied agent）一个工作定义，它由以下五个元素组成：

1. 身体（body $\mathcal{B}$）：一个具有自由度（degrees of freedom, DoF）的物理或仿真执行器，其运动受到动力学约束 $\dot{x} = f(x, u)$，其中 $x$ 是构型（configuration），$u$ 是控制输入。 2. 环境（environment $\mathcal{E}$）：一个部分可观察（partially observable）的物理世界，遵循未知的转移动力学 $T: \mathcal{S} \times \mathcal{A} \rightarrow \mathcal{S}$，其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}$ 是动作空间。 3. 感知通道（sensor $\mathcal{Z}$）：从环境到主体的观测映射 $o_t = \mathcal{Z}(s_t)$，具有噪声、遮挡和延迟。 4. 内部世界模型（world model $\mathcal{M}_\theta$）：参数化（参数为 $\theta$）的对环境动力学的可学习近似，形式上是一个预测器 $\hat{s}_{t+1} = \mathcal{M}_\theta(s_t, a_t)$ 或一个潜空间预测器 $\hat{z}_{t+1} = \mathcal{M}_\theta(z_t, a_t)$。 5. 策略（policy $\pi_\phi$）：参数化（参数为 $\phi$）的从状态到动作的映射 $a_t = \pi_\phi(\hat{s}_t)$，其中 $\hat{s}_t$ 可能来自真实观测，也可能来自世界模型的预测。

这五个元素共同构成了一个*具身智能循环*（embodied loop）：主体在时刻 $t$ 观测 $o_t$，将其送入世界模型得到状态估计 $\hat{s}_t$，再由策略给出动作 $a_t$，动作通过身体作用于环境，环境转移到新状态 $s_{t+1}$，循环闭合。值得注意的是，这个定义同时容纳了 Brooks 的反应式机器人（$\mathcal{M}_\theta$ 可以非常浅）和 LeCun 的 JEPA（$\mathcal{M}_\theta$ 可以非常深），从而在概念上统一了整个光谱。

1.1.3 与符号 AI、纯 RL 的三向对比

为了更清楚地定位具身智能，有必要把它和另外两种范式放在同一张比较表里：

| 维度 (Dimension) | 符号 AI (Symbolic AI) | 纯 RL (Pure RL) | 具身智能 (Embodied AI) | |---|---|---|---| | 知识表征 (Knowledge repr.) | 谓词逻辑、产生式规则 (production rules) | 价值函数、策略网络 | 潜变量 + 显式几何 | | 推理方式 (Reasoning) | 演绎 (deduction) | 试错 (trial-and-error) | 预测 + 反事实推演 | | 是否需要世界模型 | 否 | 可选 (model-free 时不需要) | 必须 (至少是隐式的) | | 长程规划能力 | 强 | 弱 | 强 (通过模型搜索) | | 数据效率 (data efficiency) | 高 (人工编码知识) | 低 (需要大量交互) | 中 (模型学习先验) | | 对身体依赖 | 无 | 无 | 强 |

这张表揭示了一个重要的事实：具身智能不是符号 AI 与纯 RL 的简单折中，而是一种新的范式。它的标志性特征是"必须拥有一个内部世界模型"，无论是显式的（explicit）还是隐式的（implicit）。这个判据将贯穿全书：当我们审视任何一项具身智能技术时，第一个问题应当是"它的世界模型在哪儿？"——这个问题的答案决定了它在四层架构中的位置。

---

1.2 世界模型作为内部仿真器：四种功能角色

"世界模型"这个术语之所以容易引起混淆，是因为它在不同的研究传统中扮演着截然不同的功能角色。本节把它拆解为四种角色——预测（prediction）、控制（control）、想象（imagination）、抽象（abstraction）——并指出每种角色背后的数学结构和典型算法。

1.2.1 预测：填补观测的间隙

世界模型最朴素的角色是*预测*（prediction）：给定当前状态和候选动作，模型应当输出下一时刻的状态或观测。这一功能的数学形式是：

$$\hat{o}_{t+1}, \hat{r}_{t+1} = \mathcal{M}_\theta(o_t, a_t)$$

其中 $o_t$ 是观测，$r_{t+1}$ 是预测奖励。这是 Schmidhuber 在 1990 年的 *Making the World Differentiable*、Ha 和 Schmidhuber 在 2018 年的 *World Models* 论文中的核心设定。预测器的训练目标是重建损失：

$$\mathcal{L}_{\text{pred}}(\theta) = \mathbb{E}_{(o_t, a_t, o_{t+1}) \sim \mathcal{D}} \left[ \| o_{t+1} - \hat{o}_{t+1} \|^2 \right]$$

然而简单的像素级重建很快暴露了它的局限：高维图像中的许多变化是不可控的（如阴影的随机变化、背景物体的微动），模型会浪费容量去拟合这些与决策无关的细节。这一观察直接催生了潜空间预测（latent prediction）和 LeCun 的 JEPA——后者干脆放弃了像素级重建，只预测*语义一致*的嵌入（embedding）。

1.2.2 控制：在想象中搜索最优动作

当世界模型足够准确时，它可以被当作一个*模拟器*（simulator）来用：智能体可以在不接触真实环境的情况下，在模型内部"试"出各种动作的后果，并挑选出最好的。这种范式被称为*基于模型的规划*（model-based planning）或*模型预测控制*（Model Predictive Control, MPC）。其数学形式是：

$$a_t^* = \arg\max_{a_t, \dots, a_{t+H}} \sum_{k=0}^{H-1} \gamma^k \hat{r}_{t+k}$$

其中 $H$ 是规划视野（planning horizon），$\gamma$ 是折扣因子，$\hat{r}$ 是模型预测的奖励。这一思路在 AlphaZero 的 MCTS（Monte Carlo Tree Search）中达到了第一个高峰，也在 DreamerV3（2024 年）和 iVideoGPT（2024 年）等近期工作中持续被采用。

控制角色对世界模型的精度提出了最严苛的要求：模型误差会随着推演步数*指数级*累积——这就是所谓的*复合误差*（compounding error）问题。因此，多数实际系统采用*短视野规划 + 反应式策略*的混合架构（hybrid architecture），即 MBPO（Model-Based Policy Optimization）的核心思想。

1.2.3 想象：生成未见过的场景

第三种角色是*想象*（imagination），它在概念上比前两种更进一步：模型不只是预测给定动作的结果，还要能够*采样*（sample）出整个场景。一个能"想象"的模型应当满足：

$$p_\theta(o_{t+1:T} \mid o_{1:t}, a_{1:T-1}) \approx p_{\text{env}}(o_{t+1:T} \mid o_{1:t}, a_{1:T-1})$$

这一角色与生成式 AI 深度耦合：扩散模型（diffusion model）、自回归变换器（autoregressive transformer）、生成对抗网络（GAN）都可以成为想象的引擎。DeepMind 的 Genie（2024）和 Genie 2（2024）就是这种范式的代表——它们能够从一个单帧图像出发，"想象"出可交互的 3D 视频流，本质上是一个*可交互的世界生成器*。

想象角色与控制角色的关键区别在于：想象关注*多样性*（diversity）和*一致性*（consistency），控制关注*准确性*（accuracy）和*可计算性*（tractability）。同一个模型很难同时在两个维度上达到最优，这构成了本书第 3 章要讨论的*生成-控制两难*（generation-control dilemma）。

1.2.4 抽象：抽取可迁移的因果结构

最后一种角色是*抽象*（abstraction），它最接近 LeCun 所说的 *prediction at the level of abstractions*。其核心主张是：智能体不需要预测世界的每一个细节，而是要在某个抽象层次上预测*概念*（concept）的演化。

数学上，抽象可以形式化为：

$$h_{t+1} = \mathcal{M}_\theta^{\text{abs}}(h_t, a_t), \quad h_t = \phi(o_t)$$

其中 $\phi$ 是一个从高维观测到抽象概念的编码器（encoder），$h_t$ 是抽象表征。JEPA 路线图正是建立在这种抽象观之上——它把世界模型的输出空间从像素迁移到嵌入，从而避免了不必要的高维重建。

抽象的角色最难实现，也最有价值：它使得世界模型可以在不同任务、不同环境之间*迁移*（transfer）。一个学会了"杯子掉到桌子上"的抽象动力学的模型，应当能够在厨房、客厅、办公室等任何场景下推断杯子是否会摔碎。这种*组合泛化*（compositional generalization）能力，被认为是从当前的世界模型通向通用具身智能的关键缺口。

1.2.5 四种角色的统一视角

值得注意的是，这四种角色并不是互相排斥的层级，而是一个智能体在不同时间尺度上调用同一模型的不同"接口"。一个成熟的具身智能体应当在毫秒级调用预测接口（用于反应式控制），在秒级调用想象接口（用于局部规划），在分钟级调用抽象接口（用于任务级推理）。这种*多时间尺度分层*（multi-timescale hierarchy）将在第 8 章中以"分层世界模型"为题展开详细讨论。

---

1.3 思想史脉络：从 Helmholtz 到 LeCun

世界模型不是 2022 年 LeCun 论文的发明。它的思想根源可以追溯到 19 世纪的感官生理学，并在 20 世纪的认知科学、控制论、强化学习中以不同的形态反复出现。理解这条思想脉络，能帮助我们看清今天的技术选择并不是孤立的工程决定，而是几代学者对同一个核心问题的不同回应。

1.3.1 Helmholtz 的"无意识推理"

1856 年，Hermann von Helmholtz 在 *Handbook of Physiological Optics* 中提出了一个当时颇具革命性的观点：感知并不是被动的记录，而是一种*无意识推理*（unconscious inference）。当我们看见一个房间的桌子时，我们的视觉系统并不是在"读出"视网膜上的光强分布，而是基于先验知识和当前线索，主动地*推断*出最可能的 3D 场景。这种推断是无意识的、自动的、基于贝叶斯式的概率推理。

Helmholtz 的洞见在 21 世纪被重新发现并形式化为*预测编码*（predictive coding）理论：大脑皮层不断生成对感知的预测，预测与实际输入之间的*预测误差*（prediction error）沿着皮层层次反向传播。Rao 和 Ballard 在 1999 年的经典论文 *Predictive coding in the visual cortex* 首次把这一思想实现为可计算的神经网络模型。这一理论线直接影响了 2018 年之后的诸多世界模型工作——例如 Ha 和 Schmidhuber's *World Models* 的核心思想"在潜空间中预测下一帧"，就可以被看作预测编码在端到端神经网络中的工程化。

1.3.2 认知机器人学的兴起（1980s—1990s）

1980 年代，一批认知科学家和机器人研究者开始尝试把心智的"理论"（theory of mind）形式化为可在机器人上运行的程序。代表性工作包括：

• **Shakey the Robot**（Stanford, 1966—1972）：最早使用 STRIPS 规划器和世界模型进行逻辑推理的移动机器人。它的世界模型是符号式的——一个以谓词逻辑描述的房间地图。
• **Subsumption Architecture**（Brooks, 1986）：反对 Shakey 路线，主张用反应式行为层（reactive layer）替代世界模型。但 Brooks 自己后来也在 *Intelligence Without Representation*（1991）的修订版中承认，纯反应式架构无法处理需要长程推理的任务。
• **Cognitive Robotics at MIT**（1990s）：Leslie Pack Kaelbling 和 Tomas Lozano-Pérez 在 *Hierarchical Task and Motion Planning* 系列工作中，提出了一种混合（hybrid）架构，把符号级任务规划与连续级运动规划通过世界模型连接起来。
• **Internal Models in Mo