具身智能导论：为什么我们需要世界模型 / Introduction to Embodied AI: Why World Models Matter

具身智能导论：为什么我们需要世界模型 / Introduction to Embodied AI: Why World Models Matter

2023年5月，当 Figure 01 机器人在 BMW 工厂的车间里完成自主装配任务时，它背后的控制算法经历了约 10 小时的真实轨迹训练、若干次仿真到真实的迁移微调（sim-to-real fine-tuning），以及一整套工业级安全约束；同年发布的 PaLM-E 在机器人操作任务上展示了令人惊艳的视觉-语言指令跟随能力，但其训练数据来自 RT-1、RT-2 等项目数年积累的数十万条遥操作演示。这意味着同一类问题——"让一个机器人在物理世界中完成一件简单的事"——所需要的资源量，比训练一个能通过律师资格考试的大语言模型还要多出几个数量级。这个差距并非偶然，它指向一个根本性的工程问题：纯数字智能（disembodied intelligence）的规模化路径并不能直接复用到物理世界的行动任务上。本章将围绕这个判断展开，论证一个核心立场：具身智能的下一个突破点，不在于把更大的语言模型塞进机器人的脑袋，而在于为智能体装备一个可学习的"世界模型"（world model）——一个内部的、可推演的、关于环境动力学的因果模拟器。

1. 具身智能的定义与历史脉络 / Defining Embodied Intelligence: A Brief History

1.1 一个被反复混淆的概念：具身智能 ≠ 装在机器人上的大模型

在 2024 年的公众讨论中，"具身智能"（embodied AI / embodied intelligence）这个词几乎被等同于"人形机器人"。但这种用法遮蔽了概念的核心。具身智能的研究对象是智能体（agent）与环境的耦合系统，而非某个特定的硬件形态。它关注的核心问题是：当一个智能体拥有传感器和执行器时，它如何学习在这个世界中行动？这里的"行动"（action）既包括物理位移，也包括对环境的因果干预（推开一扇门、按下一个按钮）；"感知"（perception）则包括来自摄像头、力矩传感器、触觉阵列、IMU 等多种模态的信号流。

形式化地说，具身智能体处于一个部分可观测的马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）中，其交互可以用元组 $(\mathcal{S}, \mathcal{A}, \mathcal{O}, P, R, \gamma)$ 描述：

• $\mathcal{S}$：环境的真实状态空间，通常**不可直接观测**。
• $\mathcal{A}$：动作空间，例如关节扭矩或末端执行器的笛卡尔速度。
• $\mathcal{O}$：观测空间，由传感器数据构成，是 $\mathcal{S}$ 的一个非平凡函数。
• $P(s_{t+1} \mid s_t, a_t)$：环境的转移动力学（transition dynamics），这是世界模型试图逼近的对象。
• $R(s_t, a_t) \to \mathbb{R}$：奖励函数，在很多现实任务中**甚至是未定义的**。
• $\gamma \in [0,1)$：折扣因子。

这个定义与监督学习的关键差异在于：智能体不能被动地消费一个固定的数据集，它生成的数据本身就是它决策行为的函数。在监督学习中，数据分布是先验固定的；而在具身智能中，$P(o_t)$ 由策略 $\pi(a_t \mid o_t)$ 与环境 $P$ 的耦合动态生成。这一性质带来了分布偏移（distribution shift）、探索-利用权衡（exploration-exploitation trade-off）以及样本效率等一系列独特的工程挑战。

1.2 三条历史脉络：符号、行为、连接

要理解当代世界模型路线的位置，需要先回顾具身智能四十年研究史中三条主要的思潮。

第一条是符号主义路线（symbolic / deliberative route），以 Shakey 机器人和 STRIPS 规划系统为代表（1969–1985）。这条路线把智能视为"显式推理 + 符号操作"，依赖人工构建的世界模型（如房间地图、对象关系图）和一阶逻辑规划器。它的优势是可解释性强、对长程任务有清晰的规划能力；劣势则是极其脆弱——任何不在预设模型中的扰动（一张被风吹动的椅子、一个不在地图上的访客）都可能让整个规划系统崩溃。这种"封闭世界假设"（closed-world assumption）至今仍是符号路线难以跨越的工程鸿沟。

第二条是行为主义路线（behavior-based / reactive route），以罗德尼·布鲁克斯（Rodney Brooks）的包容架构（Subsumption Architecture, 1986）为旗帜。布鲁克斯的名言是："世界本身就是它自己最好的模型。"（The world is its own best model.）他主张智能不应建立在显式表征之上，而是由多个并行的、层次化的反射回路（reflex loops）自下而上组合而成。这一路线催发了行为机器人学（behavior-based robotics），也间接影响了后来强化学习中 policy-only 方法的复兴。它的局限是：完全反应式的策略难以处理需要前瞻推理的任务——比如"把桌下的球捡起来"需要预先想象球的轨迹，这种"想象"在纯粹的反应式架构中没有位置。

第三条是连接主义路线（connectionist / learning-based route），从 1989 年 LeNet、2013 年 DQN、2015 年 AlphaGo 一路演化到 2022 年的 PaLM-E 和 RT-2。这条路线相信只要有足够的数据和算力，端到端的神经网络可以学到从感知到动作的复杂映射。在视觉识别、语言理解、围棋与象棋等任务上，连接主义已经取得了决定性的胜利。但当它直接迁移到具身任务时，却暴露了样本效率上的根本劣势——这也是我们将反复回到的论点。

```mermaid flowchart LR A[感知 Perception] --> B[世界模型 World Model] B --> C[想象 Imagination] C --> D[决策 Decision] D --> E[动作 Action] E --> F[环境 Environment] F --> A ```

这张图描述了后续章节将反复用到的核心架构：感知信号流入世界模型，世界模型生成对未来的预测，智能体在"想象空间"中做规划或策略更新，最终通过动作影响环境，环境反馈新的感知。注意：没有世界模型的智能体只能走 A → D → E → F 这条省略路径，而本书要论证的，正是"中间那段 B → C"几乎是不可省略的。

1.3 现代转折点：从 RT-1 到 PaLM-E 与 RT-2

如果要为当代具身智能设定一个起点，2017 年的 Vision-Language-Action（VLA）模型雏形和 2022 年的 RT-1 是一个合理的标记点。RT-1（Robotics Transformer 1, Brohan et al., Google, 2022）将语言指令、图像观测和机器人动作统一在同一个 Transformer 序列中，用约 13 万条遥操作（teleoperation）轨迹训练出了一个端到端的 7 自由度机械臂操控策略。它的意义不在性能——在多个基准上 RT-1 的成功率甚至低于专门的策略网络——而在于它验证了一个假设：大规模的、多任务的具身数据可以被一个统一的架构消化。

2023 年的 PaLM-E 和 RT-2 进一步把语言模型的规模推到了 540B 参数级别。RT-2 的核心思想是将动作视为另一种 token：给定图像和语言指令，模型直接生成动作的字符串表示（例如一系列离散的 token）。这种方法展示了惊人的零样本泛化能力——RT-2 可以处理训练中从未见过的指令（如"把可乐罐放进 Taylor Swift 的照片里"），因为它继承了基础语言模型中的世界知识。

但 RT-2 路线也很快触到了天花板。RT-2 的训练数据需要昂贵的真实机器人遥操作，每条轨迹的成本约 2–10 美元（视任务复杂度），而它在小样本新任务上的表现依然显著弱于经过专门训练的策略。更根本的限制是：无论语言模型有多大，它都无法在没有新数据的情况下学会"杠杆原理"或"物体滑动的摩擦动力学"——这些知识必须从物理交互中习得，而不能从文本中蒸馏。这正是世界模型路线登场的契机。

2. 感知-动作闭环与莫拉维克悖论 / The Perception-Action Loop and Moravec's Paradox

2.1 闭环：具身智能的心跳

具身智能与纯数字 AI 的本质区别，可以用"感知-动作闭环"（perception-action loop）这个概念来刻画。在自然语言处理任务中，模型读入一段文本，输出一段文本，中间没有"动作"的概念；在图像分类中，模型读入一张图像，输出一个标签，整个推理路径是单向的、有终止的。但具身智能体永远处于循环之中：它的每一个动作都会改变环境，环境又产生新的感知，感知再驱动下一步动作。这种循环不是工程上的便利，而是物理约束的必然结果——智能体不能"暂停"自己所处的世界。

闭环的存在带来三个重要的工程后果。第一是延迟敏感性：从感知到动作的整个回路必须在毫秒到秒的尺度内完成，否则智能体可能撞上障碍物、错过抓取窗口或与人类协作出错。这对算法、硬件和控制架构都提出了严苛的实时性要求。第二是反馈耦合：策略的输出会改变它未来要处理的数据分布，导致经典的"训练-测试分布不一致"问题在具身场景下被放大到无法忽视的程度。第三是安全约束：在真实机器人上学习时，每一个动作都有物理代价，这使得 on-policy 探索（直接用当前策略在真实环境试错）的成本极其高昂。

闭环也带来了一个积极的工程特性：经验可以被反复利用。一条交互轨迹不仅训练了当前策略，还可以用来训练世界模型、价值函数、奖励模型等多种组件。这种"一份数据，多份价值"的特性是后续世界模型方法能够大幅提升样本效率的根本原因。

2.2 莫拉维克悖论：为什么机器人叠衣服比下围棋难一万倍

1988 年，汉斯·莫拉维克（Hans Moravec）、艾伦·德雷福斯（Hubert Dreyfus）等人观察到一个反直觉的现象：对人类而言困难的任务（如高等数学、围棋、律师资格考试）对 AI 而言相对容易，而对人类而言简单的任务（如爬楼梯、抓握物体、读懂婴儿哭声）却对 AI 极其困难。莫拉维克在 1988 年写道："要让计算机在成人水平上做智力测试或在跳棋上击败人类，相对容易；但要让计算机具备一岁小孩的视觉和移动能力，却异常困难——甚至根本看不到解决方案。"

这个悖论的根源直到今天还没有完全被科学解释，但一个被广泛接受的解释是进化时间假说（evolutionary time hypothesis）：人类感知-动作系统经历了几亿年的自然选择优化（在鱼类、两栖类、哺乳类中持续打磨），而人类的"高级认知"——语言、抽象推理、博弈论——只是最近几十万年的新发明，因此在神经计算上反而是相对浅薄的能力。当我们用硅基芯片和人工神经网络去"重新发明"这两类能力时，所需的样本量与算力的差异是几个数量级的。

具身智能研究者必须正视这个悖论带来的工程含义：不要试图用纯规模化的方式解决具身问题。堆叠语言模型、堆叠视觉模型、堆叠动作数据，这些方法在数据丰富的纯数字任务上有效，但在具身任务上很快会撞到边际收益递减的墙——因为决定具身任务难度的不是"概念复杂度"，而是"物理交互的复杂度"，而后者需要的是关于世界动力学的稠密知识，而不是稀疏的文本语料。

2.3 "心有灵犀"：被忽视的智能维度

中国古代有个成语叫"心有灵犀"，形容两个人默契到一点就通，无需多言。从认知科学角度看，这种默契本质上是一种共享的内部世界模型。当两个训练有素的舞者共同起舞、当一个熟练的外科医生和护士配合手术、当我们伸手去接住对方抛来的钥匙——所有这些场景都依赖于参与者对"对方下一步会做什么"的实时预测，而这种预测之所以可能，恰恰因为他们拥有一个结构相似的、关于物理世界和他人意图的内部模型。

把这个比喻反向推到 AI 系统上，我们就能看清大模型路线的一个根本缺口：LLM 缺乏一个关于物理世界的、可推演的内部模型。它有海量的语料关于"球会滚动"、"水往低处流"、"玻璃易碎"，但这些知识是以离散的、文本化的、互不连接的统计模式存储的，而不是以可前向推演的因果动力学存储的。当一个 LLM 控制的机器人试图抓取一个鸡蛋时，它可能会说出完美的策略（"轻轻握住"），但它的控制信号可能完全没有体现"鸡蛋壳在 5 牛顿压力下破碎"这一物理事实——因为这个事实在它的参数中不是一个可调用的方程，而是一段统计相关的文字。

这正是为什么我们认为"心有灵犀"所代表的那种默会智能（tacit intelligence），必须在世界模型中显式地、结构化地、可微分地重建。一个优秀的世界模型就相当于给智能体装上了一个可推演的"心有灵犀"——它不必把所有物理知识都写成文字，但必须能在想象中前向模拟"如果我这样推，球会怎么动"。

2.4 物理一致性约束：具身 AI 的额外负担

值得一提的是，具身 AI 比纯数字 AI 多了一类它必须严格满足的约束——物理一致性（physical consistency）。一个语言模型可以自信地胡说八道而几乎无代价——用户最多得到一段错误的文字。但一个机器人如果在"想象"中把物体动力学算错了，它可能在真实世界中摔碎物品、伤害人类。

这意味着世界模型不仅要在统计意义上拟合数据，还要在物理意义上逼近真实动力学。这是为什么世界模型研究领域对长程推演稳定性（long-horizon rollout stability）格外关注——一个三步推演误差 0.1 的世界模型听起来不错，但在 100 步推演中累积误差可能让智能体完全脱离真实状态。这是一个未完全解决的开放问题，本书第 6 章会专门讨论。

3. 世界模型：智能体的"内部沙盘" / World Models: The Agent's Internal Sand Table

3.1 什么是世界模型：从认知科学到机器学习

"世界模型"这个概念并非机器学习领域原创。它在认知科学中有更长的历史。1943 年，肯尼斯·克雷克（Kenneth Craik）在《解释的本质》（The Nature of Explanation）中提出：智能体之所以能在环境中生存，是因为它们构建了一个关于外部世界的"小型模型"（small-scale model），并用这个模型来预测未来、选择行动。这一观点后来被约翰逊-莱尔德（Philip Johnson-Laird）在 1983 年的"心智模型"（mental model）理论中形式化。在神经科学层面，Karl Friston 的自由能原理（Free Energy Principle, 2010）进一步把"智能体维持一个内部世界模型以最小化预测误差"提升为大脑功能的一种统一解释。

把这一思想迁移到机器学习语境中，世界模型（world model）特指一个可学习的参数化函数 $\hat{P}_\theta(s_{t+1} \mid s_t, a_t)$，它由真实交互数据拟合而来，并被用来在"想象"中生成虚拟轨迹以辅助决策。在不同的文献中，世界模型有时也被称为"动力学模型"（dynamics model）、"环境模型"（environment model）或"前向模型"（forward model），本书统一采用"世界模型"这一称谓。

需要强调的是，世界模型不等于"世界知识的语言描述"。一个真正有用的世界模型必须是可前向推演的——给定当前状态和动作，它能在毫秒级时间内给出对下一状态的合理估计。这种"可前向推演"的特性，是世界模型与纯语言知识库的本质区别，也是它在具身任务中不可替代的根本原因。

3.2 形式化定义：世界模型在 MDP 中的角色

让我们把世界模型放进前面给出的 POMDP 框架中。给定交互轨迹 $\tau = (o_1, a_1, r_1, o_2, a_2, r_2, \ldots)$，世界模型的目标是拟合以下三个函数中的至少一个：

$$\hat{P}_\theta(s_{t+1} \mid s_t, a_t) \approx P(s_{t+1} \mid s_t, a_t)$$

$$\hat{R}_\phi(s_t, a_t) \approx \mathbb{E}[r_t \mid s_t, a_t]$$

$$\hat{\gamma}_\psi(s_t) \approx P(\text{episode ends} \mid s_t)$$

其中 $s_t$ 通常是 $o_t$ 或近期观测历史的某种编码（隐状态）。最朴素的设定是 $s_t = o_t$（完全可观测），更复杂的设定中 $s_t$ 由一个循环神经网络或 Transformer 维护（部分可观测）。

世界模型训练的目标函数通常是最大似然：

$$\mathcal{L}(\theta) = -\sum_{t} \log \hat{P}_\theta(o_{t+1} \mid o_t, a_t)$$

但在实践中，研究者经常使用以下变体：

• **均方误差（MSE）**：适用于连续观测，如 Cart-Pole 的 4 维状态向量。
• **二元交叉熵（BCE）**：适用于二值化的像素观测，如 Atari 游戏的灰度图。
• **KL 散度 / 变分下界（ELBO）**：适用于潜在空间（latent space）模型，如世界模型的隐变量版本（Dreamer 系列）。
• **对比损失 / InfoNCE**：适用于表征学习式的世界模型。

一个值得强调的细节：世界模型的好坏，不能只用 one-step 预测误差来衡量。在下游决策任务中真正重要的是 multi-step rollout 误差——即在想象中连续前向推演多步后，预测状态与真实状态的偏差。这两者之间存在显著差异：一个 one-step 误差 0.05 的世界模型，在 50 步 rollout 后可能累积到误差 5.0；而一个 one-step 误差 0.10 但更稳定的世界模型，反而可能在 50 步后误差更小。本书第 6 章将专门讨论这一现象及其改进方法。

3.3 三大组件：状态表征、转移动力学、奖励预测

虽然不同文献的实现差异巨大，但一个完整的世