序章：为什么机器人需要一个'内心世界'

第1章 序章：为什么机器人需要一个"内心世界"

1.1 一个假想场景：当国际象棋冠军输给折纸机器人

2024年的一个秋日午后，一则假想新闻刷屏：曾三度夺得国际象棋世界冠军的玛利亚·洛萨诺，在一场"机器人折纸大赛"中以0比3完败给一台折纸机器人——不是那种按预设程序运行的工业机械臂，而是一台只会看、只会动、每折一道线都要从零学起的具身机器人。机器人折出的是一只几乎完美的千纸鹤，而洛萨诺在第三轮时把纸撕成了两半。

这条新闻之所以耐人寻味，是因为它同时戳破了两类流行幻觉：第一类幻觉认为，"既然大模型已经能写诗、写代码、做高考数学题，那它顺手把物理世界搞定只是时间问题"；第二类幻觉则正好相反——"机器人就是机械和控制的工程问题，不需要什么AI"。真实情况是：玛利亚可以在三秒内从一张方纸的状态空间里找到接近最优的折法，因为她脑子里运行着某种关于纸、力、几何、心智模型的"内心模拟器"；而这台机器人，虽然背后跑着可能是地球上最大的视觉-语言-动作模型，却完全不具备这种内心模拟的能力。它对"折痕角度"、"纸的厚度"、"下一步该往哪边施力"等概念没有持续性的内部表征，只有当前帧像素到下一帧动作的一个直接映射。

这个假想场景所揭示的核心矛盾，正是本书要回答的问题：当一个具身智能体（embodied agent）必须与一个它无法完全观测、无法完全预测、无法完全重置的真实物理世界持续交互时，它究竟是如何"思考"的？它的"思考"又为什么不能只是把观察到的像素映射成应该执行的动作？

要回答这个问题，我们先要把过去四十年里人工智能的三种主流范式摊开来看，看它们各自解决了什么、忽略了什么，再看为什么"世界模型"（world model）这个被反复定义、又反复滥用的术语，会在2020年代重新成为具身智能的焦点。

1.2 从DeepBlue到RT-2：三种范式的演进与局限

1.2.1 符号-搜索范式：以DeepBlue为坐标原点

1997年，IBM的DeepBlue击败卡斯帕罗夫，被广泛视为人工智能的里程碑。它的工作原理并不神秘：在每一步，引擎通过α-β剪枝在博弈树上搜索，并用一个手工编写的评估函数给棋局打分。这个评估函数是人类国际象棋大师和程序员合作编码的关于"好棋"的近似知识。

DeepBlue的成功建立在一个隐藏前提之上：博弈可以被完全形式化。棋盘上的64个格子、每方的16颗棋子、完整的走子规则，所有信息都是离散的、可枚举的、可推理的。在这种环境下，符号-搜索范式（symbolic-search paradigm）几乎没有对手：它的优势在于任何经过形式化的目标都可能被"证明"或"穷举接近"，劣势则在于——一旦任务不能被干净地形式化，整个范式就失灵了。

折纸不能。下棋可以，是因为棋盘状态空间是$|S| \approx 10^{47}$的有限离散集合；而一张纸在三维空间中的连续形变、纸张厚度、湿度、纤维方向、手指按压角度，构成了一个维度近乎无限的连续状态空间。DeepBlue的工程奇迹无法迁移到这里，不是工程问题，是范式问题。

1.2.2 深度学习-模式识别范式：以AlphaGo为坐标原点

2016年，AlphaGo击败李世石，标志着一个新范式的成熟：把深度神经网络作为模式识别器，从大规模人类棋谱和自我对弈中学习"局面评估"和"策略分布"，再用蒙特卡洛树搜索（MCTS）把这些软评估转化为走子决策。

AlphaGo相对DeepBlue的关键进步，是用学习取代了手工编写评估函数。但它仍然建立在两个关键假设之上：第一，训练数据或自我对弈可以充分覆盖状态空间的"有意义"区域；第二，对局可以通过自我对弈无限制地生成。第二点至关重要：围棋虽然状态空间巨大（$|S| \approx 10^{170}$），但它有一个极其实用的性质——任意局面都可以通过自我对弈达到。这意味着强化学习需要的"探索-利用"循环可以在系统内部闭合。

对折纸任务而言，第二个假设失效得最为彻底。一张纸被撕坏后无法"重置"；一次错误的折痕造成不可逆的结构变化；现实物理世界中没有"reset按钮"。AlphaGo式的范式在物理世界中既缺乏"无限训练"的廉价性，又缺乏对失败成本的可控性。

1.2.3 端到端范式：以RT-2为坐标原点

2023年，Google DeepMind发布的RT-2（Robotics Transformer 2）把机器人控制问题直接嫁接到大语言/视觉语言模型（VLM）上：把机器人摄像头拍到的图像和一段自然语言指令作为输入，让Transformer直接输出离散化的末端执行器动作token。其核心论点是：互联网规模上的视觉-语言-语言三元组数据，可以让模型"零样本"地泛化到从未见过的物体和指令。

RT-2的成就是真实的：在多个开放词汇（open-vocabulary）的桌面操控任务上，它比传统行为克隆（behavior cloning）的基线有显著提升。但它的局限性也很明显，并且和本书的主题直接相关：RT-2几乎没有关于物理世界的"内心表征"。它更像一个极其强大的"模式补全器"——给定当前帧和一段指令，输出"看起来合理"的动作序列；它并不在内部维护一个关于"如果我现在把手伸过去，物体会怎么动"的预测模型。这意味着，对于任何需要超过一两秒前瞻（lookahead）的任务，例如把一个倾斜的不倒翁稳放到桌面上，RT-2的表现都会迅速退化。

把这三种范式并排放在一起，能看到一个清晰的演进轴：手工知识 → 学习知识 → 通用预训练知识。但这条轴的隐含代价是越来越少的内部结构、越来越少的可解释性、越来越弱的物理一致性。当任务无法被符号化、数据无法被无限生成、单步决策的代价无法被忽略时，这条演进轴就触到了它的尽头。下一步，必须把"对世界的理解"显式地请回AI系统里——这就是世界模型。

1.3 反应式策略的样本复杂度瓶颈：为什么GPT-4级别的视觉模型也搞不定简单的抓取

一个常见的外行误解是："既然GPT-4V能看懂图、能推理、能在物理竞赛题上拿高分，那让它去抓个杯子不是顺手的事？"事实比直觉更复杂。我们用一个具体例子——抓取一个放在桌面上的不规则物体——来拆解这个问题。

1.3.1 抓取任务的真实状态空间

即便把问题极度简化（忽略手指关节的精细控制、忽略物体材质、忽略光照），一个典型的桌面抓取任务的状态空间仍可以写成：

$$S = \{(x, y, z, \theta, \phi, \psi, s_{\text{obj}}) \mid (x,y,z) \in \mathbb{R}^3, \theta,\phi,\psi \in [0, 2\pi), s_{\text{obj}} \in \mathcal{S}_{\text{obj}}\}$$

其中$(x, y, z)$是末端执行器的位置，$(\theta, \phi, \psi)$是姿态角，$s_{\text{obj}}$是物体本身的位姿和形状参数。每一个连续维度只要被离散化为1000个桶，状态数就已经达到$10^{21}$量级，远超围棋的$10^{170}$——但这还不是关键。关键是：抓取问题是一个典型的稀疏奖励问题。在$10^{21}$个候选状态中，只有极少数是真正成功的抓取，绝大多数（可能$10^{18}$以上）都会导致推倒、滑落、夹碎或夹空。

1.3.2 反应式策略的样本复杂度下界

反应式策略（reactive policy）$\pi(a \mid o)$把当前观测直接映射为动作，不维护任何关于未来的内部状态。理论上，它的学习样本复杂度下界由状态-动作对的覆盖度决定。在稀疏奖励设置下，要让一个反应式策略学会"成功抓取"，需要的样本数大致为：

$$N_{\text{reactive}} \sim \mathcal{O}\left(\frac{|S| \cdot |A|}{\epsilon^2} \cdot \frac{1}{p_{\text{success}}}\right)$$

其中$p_{\text{success}}$是随机策略的成功率。对一个全新的物体，$p_{\text{success}}$可能低到$10^{-6}$，而$|S||A|$在现实操控任务中可能高达$10^{30}$。即便$\epsilon = 0.1$，所需样本数也远远超过任何现实可行的数据采集预算。这就是为什么单纯堆砌视觉-语言-动作模型的参数量无法解决抓取问题——模型容量和数据量的乘积跟不上状态空间爆炸的速度。

1.3.3 一个直观的实验证据

Google在2023年发布了一项颇具说明力的研究：在RT-2的训练数据中加入大量"桌面抓取"视频后，模型在见过的物体类别上抓取成功率超过80%，但放到完全没见过的桌面布置（例如物体被部分遮挡、被反光表面遮挡、被其他物体压住）时，成功率骤降到30%以下。原因是显而易见的——它学的是"看到这种像素分布，就输出这种动作"，而没有学到"为什么这样抓可以成功"的因果链。一旦观测的分布发生偏移，反应式映射就崩溃。

而一个具备世界模型的系统在这种场景下会显著占优，因为它可以在内部"想象"出不同的抓取候选、对每个候选"模拟"出未来5-10步的物理演化、然后选择预测结果最好的那个。这并不是魔法，而是把"学习的负担"从"记住所有的输入-输出对"转移到了"学习一个可复用的物理引擎"。一旦学到了后者，外推到新物体、新布置的代价就低得多。

1.4 "世界模型"的三重含义：预测器、模拟器、规划器

"世界模型"这个词在最近十年里被各路人马反复使用、反复定义、反复混淆。本书必须先把这团乱麻理清楚，否则后面的所有讨论都会在概念漂移中失焦。

1.4.1 认知科学中的"心理模型"

早在1971年，认知科学家Philip Johnson-Laird就在《Perception: A representation theory of mind》中提出了心理模型（mental model）的概念，用来解释人类如何进行推理而不诉诸形式逻辑。Johnson-Laird的核心论点是：人类在理解一个场景时，并不会真的去执行一阶逻辑的演绎，而是构建一个关于该场景的"内部小型仿真器"，然后在这个仿真器里"运行"假设。例如，当你读到"桌子上有一本书，书上放着一个杯子，杯子里有水"时，你的大脑几乎瞬间生成了一个三维场景的内部表征，并可以在这个表征上做"如果把书倾斜，杯子会怎么滑动"这样的预测。

这种意义上的"世界模型"是一个生成式的、可干预的内部表征，它和我们后面要讨论的具身AI中的世界模型在哲学动机上高度同源，但在形式化程度上要弱得多。

1.4.2 控制理论中的"内模"

控制理论（control theory）从1960年代起就在使用"内模（internal model）"这个概念，分成"内模原理（internal model principle）"和"内模控制（internal model control）"两条线索。前者由B.A. Francis和W.M. Wonham在1976年正式提出，核心论点是：一个反馈控制器要实现对参考信号的零稳态误差跟踪，必须在内部复制出参考信号的生成模型。后者则把控制器建模为"过程模型 + 估计器 + 控制器"的三段式结构。

在控制理论中，世界模型特指被控对象（plant）的动态模型，它通常是一组ODE/PDE方程或参数化的传递函数。它的形式化程度极高，但表达能力受限于方程的类别——一个用刚体动力学方程写成的内模，无法模拟纸张的褶皱、液体的飞溅、软体的形变。

1.4.3 Yann LeCun的JEPA：预测的极限简化

2022年，Yann LeCun在多次演讲中提出联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA）作为通往"人类水平智能"的蓝图。JEPA的关键思想是：世界模型不需要在像素空间里预测未来，而只需要在抽象嵌入空间里预测未来。具体来说，给定当前观测$x$和动作$a$，JEPA学习一个预测器$f_\theta$，使得$f_\theta(z_x, a) \approx z_{x'}$，其中$z_x, z_{x'}$是当前和未来观测通过同一个编码器得到的嵌入。

JEPA极大地放宽了"世界模型必须逐像素重建未来"的要求，转而强调对任务相关的抽象变量进行预测。这是哲学上的一次重要转向：世界模型不必是物理引擎的完整复刻，它只需要保留对决策有用的那部分信息。

1.4.4 游戏AI中的"内心模拟器"

在游戏AI领域，"世界模型"一词常被用来指代用于树搜索的状态转移模型。AlphaZero系列、MuZero、Agent57等系统都内嵌了一个可微的或离散的转移模型，用于在搜索树中展开未来分支。MuZero（2019）尤其值得关注：它甚至没有显式观测到真实状态，而是纯粹在内部维护一个关于"如果我做这个动作，环境大概会变成什么"的预测模型，并把这个模型作为搜索和值估计的基础。MuZero在Atari、围棋、国际象棋、日本将棋上的成功，是"世界模型作为规划器"这一含义最强的现实证据。

1.4.5 三种含义的统一

把这三种含义并排放到一起，我们可以看到一条统一的红线：

• **作为预测器（predictor）**：给定当前状态和动作，预测下一步的状态或观测。
• **作为模拟器（simulator）**：给定当前状态和一个动作序列，生成完整的未来轨迹。
• **作为规划器（planner）**：在内部仿真多种可能性的基础上，选择最优动作。

本书讨论的世界模型，将在大多数章节中同时承担这三种角色。区别只在于：在不同任务、不同数据、不同算力预算下，哪一种角色被更显式地实现、哪一种被更隐式地实现。JEPA是一种几乎纯粹以预测器面目出现的世界模型；NeRF+物理仿真器是一种典型的模拟器；MuZero则把模拟器用作规划器的内循环。

1.5 MDP与POMDP的数学骨架：状态-观测-动作-奖励的形式化

要把"世界模型"从直觉变成可工程化的对象，必须先有一个统一的形式语言。本书将自始至终使用马尔可夫决策过程（Markov Decision Process, MDP）及其部分可观测扩展（Partially Observable MDP, POMDP）作为骨架。

1.5.1 MDP的七元组

一个MDP定义为元组：

$$\mathcal{M} = \langle S, A, P, R, \gamma, \rho_0, T \rangle$$

其中：

• $S$：状态空间。在折纸任务中，这可以是纸的三维网格形变；在自动驾驶中，这可以是所有道路参与者的位姿、速度、意图。
• $A$：动作空间。连续（如机械臂的关节力矩）或离散（如抓/推/提）。
• $P(s'|s, a)$：状态转移函数。这是世界模型最核心的部分。
• $R(s, a)$：奖励函数。
• $\gamma \in [0, 1)$：折扣因子。
• $\rho_0(s)$：初始状态分布。
• $T$：终止条件。

策略$\pi(a|s)$的期望回报定义为：

$$J(\pi) = \mathbb{E}_{\tau \sim \pi} \left[ \sum_{t=0}^{T-1} \gamma^t R(s_t, a_t) \right]$$

其中$\tau = (s_0, a_0, s_1, a_1, \ldots)$是一条轨迹。强化学习的全部问题，归根结底是在给定或未知$P$和$R$的条件下，找到最大化$J(\pi)$的$\pi$。

1.5.2 POMDP：为什么具身智能必须面对的部分可观测性

在物理世界中，智能体永远无法直接访问真实状态$s_t$，只能访问观测$o_t$。这就需要把MDP扩展为POMDP：

$$\mathcal{M}_{\text{PO}} = \langle S, A, O, P, \Omega, R, \gamma, \rho_0 \rangle$$

新增的要素是：

• $O$：观测空间。
• $\Omega(o|s')$：观测概率。给定真实状态，传感器产生特定观测的概率。

在POMDP下，策略需要基于整个历史$h_t = (o_0, a_0, o_1, a_1, \ldots, o_t)$而不是单一状态来决策。最优策略$\pi^*(a|h_t)$通常通过维护一个信念状态（belief state）$b_t(s) = P(s|h_t)$来近似实现。

对具身智能来说，POMDP不是一个抽象的数学构造，而是一个必须严肃面对的工程现实。摄像机被遮挡、激光雷达受雨雾干扰、触觉传感器有量程限制、IMU有累积漂移——这些都不是"bug"，而是物理世界不可消除的属性。任何想跳过POMDP直接宣称"我已经搞定了具身AI"的方案，都应当被高度怀疑。

1.5.3 世界模型在MDP/POMDP中的精确角色

在有了上述骨架之后，世界模型的角色可以被精确地表达为：

• **作为$P$的近似器**：$\hat{P}_\theta(s'|s, a)$，使得学习到的策略可以在仿真器中"廉价地"训练和评估。
• **作为$\Omega$的近似器**：$\hat{\Omega}_\phi(o|s')$，使得智能体可以从观测反推状态（即感知模型）。
• **作为$R$的近似器**：$\hat{R}_\psi(s, a)$，在没有显式奖励信号的复杂任务中尤其重要。
• **作为隐状态$s$本身**：用神经网络内部的隐藏状态$h_t$充当$s_t$，直接绕过显式的状态空间设计。

这四种角色互不排斥，在实际系统中往往以混合形式出现。本书的第5-8章将专门讨论如何表示这些近似器，第9-12章将讨论如何用它们做决策。

1.6 四象限框架：感知-建模-预测-行动

为了给后续章节提供一个统一的分析工具，本书提出一个贯穿全书的四象限框架。任何具身AI系统都可以被拆解为这四个相互依赖的功能模块：

• **象限I：感知（Perception）**——把原始传感器数据（图像、点云、力信号、声音）转化为结构化的中间表征（特征、检测框、分割图、占据场）。
• **象限II：建模（Modeling）**——在感知的基础上，构建并维护一个关于世界当前状态和动态规律的内部模型（显式的如NeRF/占据网格/语义地图，隐式的如神经网络的隐藏状态）。
• **象限III：预测（Prediction）**——使用内部模型对未来进行仿真或想象，生成候选轨迹。
• **象限IV：行动（Action）**——在预测的基础上做出决策，并通过低层控制器把决策转化为物理动作。

这四个象限之间存在严格的依赖关系：感知为建模提供数据，建模为预测提供状态，预测为行动提供候选，行动反过来改变感知。这构成了一个循环，可以用下面这张图示意：

```merm