具身智能与世界模型：问题域与认知框架

第 1 章 具身智能与世界模型：问题域与认知框架

1.1 问题的提出：为什么具身智能体必须拥有一个世界的"替身"

具身智能体（embodied agent）区别于纯计算智能体的根本特征在于：它必须通过自身的传感器与执行器，与一个部分可观测、连续时间演化的物理世界持续耦合。这种耦合带来一个不可避免的推论——任何试图在该世界中做出"好的"决策的系统，都必须在某种意义上"理解"世界如何运作。这里的"理解"并不是哲学层面的形而上论断，而是工程层面的功能性要求：给定过去若干时刻的观测序列与动作序列，智能体必须能够推断当前的状态分布，并对未来若干时刻的状态与回报形成某种可信的预测，否则其策略优化将退化为盲目的试错。

世界模型（World Model）正是为承担这一功能而存在的计算结构。它的最小形式可以是一个从历史 $(o_1, a_1, o_2, a_2, \ldots, o_t)$ 到未来 $\hat{o}_{t+1}, \hat{o}_{t+2}, \ldots, \hat{o}_{t+H}$ 或者到潜空间预测 $\hat{z}_{t+1}, \ldots, \hat{z}_{t+H}$ 的参数化映射。围绕这一最小形式，过去十余年的研究分化为三条几乎互不通约的技术路线：潜空间动力学（latent dynamics）、像素级生成（pixel-level generation）以及联合嵌入预测架构（Joint Embedding Predictive Architecture, JEPA）。理解这三条路线的目标函数差异、归纳偏置差异以及与下游决策系统的耦合方式差异，是阅读本书后续章节的必备前提。

本章不打算给出任何最终结论，而是建立一个分析坐标：先用 Moravec 悖论与具身认知的争论厘清"为什么"的问题；再以三条技术范式的对比回答"是什么"的问题；然后从预测编码理论（Predictive Coding）与内部模型假说（Internal Model Hypothesis）补充"凭什么"的问题；最后通过仿真平台的演进讨论"怎么做"的问题，并明确世界模型在感知—决策闭环中的接口位置。

1.2 具身智能的定义边界与 Moravec 悖论的现代解读

1.2.1 何谓"具身"

具身（embodiment）在人工智能语境下并非指拥有人形躯壳，而是指智能体的认知能力与其物理形态（形态学、传感器配置、执行器动力学）之间存在不可分割的耦合关系。这一概念源于 1991 年 Varela、Thompson 与 Rosch 在 *The Embodied Mind* 中提出的具身认知（embodied cognition）纲领，并在 Rodney Brooks 1986 年的论文《Intelligence Without Representation》中被工程化体现为包容架构（subsumption architecture）：复杂行为可以从简单感知—动作回路的自组织中涌现，无需显式的中央世界表征。

然而 Brooks 的激进立场在随后的三十年中被部分修正。纯粹的刺激—反应行为体在面对需要长时程推理、抽象规划或者反事实推断的任务时，会遭遇到严格的样本效率瓶颈。Levine、Pastor、Krizhevsky 与 Quillen 在 2016 年的《Learning Hand-Eye Coordination for Robotic Grasping with Large-Scale Data Collection》以及随后兴起的视觉运动策略学习浪潮中证明：即便在大量真实数据上训练，端到端的感知—动作策略在面对分布外扰动时仍然极其脆弱。这一脆弱性的根源，并不在于网络容量不足，而在于策略网络缺少对环境动力学的显式或隐式建模——它把"世界怎么变"的知识压缩进了策略权重中，而一旦世界发生未在训练分布中出现的变化，这些权重就缺乏泛化支点。

1.2.2 Moravec 悖论为何仍然有效

Hans Moravec 在 1988 年观察到一条反直觉的工程定律：对人类而言困难的高级认知任务（如下棋、证明定理）对计算机而言相对容易；而对人类而言简单的感知与运动任务（如同步定位与建图、操控柔软物体）对计算机而言极其困难。这一悖论在生成式 AI 兴起之后被部分人群质疑——大语言模型已经能通过律师资格考试、能写代码、能进行复杂的符号推理，似乎 Moravec 悖论已经被颠覆。

然而在具身智能领域，Moravec 悖论不仅没有被解决，反而被进一步强化。其结构性原因有三：

1. 符号可抽象性：棋类与定理证明的规则可以在有限符号系统中被完整形式化，使得搜索与推理算法可以脱离物理约束直接操作抽象符号； 2. 物理世界的连续性与不可分性：机械臂末端接触一个鸡蛋时涉及的力分布、摩擦系数、形变场是一个高维、连续、强耦合的物理过程，无法被任何有限符号系统完整刻画； 3. 训练数据的稀缺性：人类语言数据以 PB 量级公开可得，而"在真实世界中操控未知物体并收集失败案例"的数据，其获取成本高三个数量级以上。

这三点共同决定了：要在物理世界中获得稳健的具身智能，模型必须内化某种关于物理动力学的归纳偏置——而世界模型正是这一归纳偏置的最自然的载体。

1.2.3 具身智能的形式化定义

为避免后续章节中的术语漂移，本书采用如下形式化定义。一个具身智能体被建模为一个离散时间部分可观测马尔可夫决策过程（POMDP）：

$$\mathcal{M} = \langle \mathcal{S}, \mathcal{A}, \mathcal{O}, T, E, R, \gamma \rangle$$

其中 $\mathcal{S}$ 是状态空间，$\mathcal{A}$ 是动作空间，$\mathcal{O}$ 是观测空间，$T: \mathcal{S} \times \mathcal{A} \rightarrow \Delta(\mathcal{S})$ 是转移函数，$E: \mathcal{S} \rightarrow \Delta(\mathcal{O})$ 是发射函数，$R: \mathcal{S} \times \mathcal{A} \rightarrow \mathbb{R}$ 是奖励函数，$\gamma \in [0, 1)$ 是折扣因子。具身智能体与该 POMDP 的交互通过策略 $\pi_\theta: \mathcal{H}_t \rightarrow \Delta(\mathcal{A})$ 完成，其中 $\mathcal{H}_t = (o_{1:t}, a_{1:t-1})$ 是截至时刻 $t$ 的历史。

世界模型被定义为该 POMDP 的某种近似求解器：在隐式情形下它表现为策略网络权重中的归纳偏置；在显式情形下它是一个独立的参数化模块 $W_\phi$，输出形式可以是：

• 对未来观测的分布 $\hat{p}(o_{t+1:t+H} \mid o_{\leq t}, a_{\leq t+H-1})$；
• 对未来潜变量的分布 $\hat{p}(z_{t+1:t+H} \mid z_t, a_{t:t+H-1})$；
• 对未来嵌入向量 $\hat{s}_{t+1:t+H}$ 的确定性预测。

理解这三种输出形式在数学上的差异，是辨识后续章节中 Dreamer、Diffusion Policy、JEPA 等具体方法的第一步。

1.3 世界模型的三种主流范式

1.3.1 潜空间动力学：Ha & Schmidhuber 路线

2018 年 Ha 与 Schmidhuber 在论文《World Models》中给出了世界模型概念的现代工程定义。该工作的核心思想是：将强化学习智能体拆分为三个独立训练的模块——视觉编码器 $V$（将观测压缩为潜变量 $z_t$）、动力学模型 $M$（在潜空间中预测下一时刻 $z_{t+1}$）、控制器 $C$（基于 $z_t$ 选择动作 $a_t$）。

其原始实现中，$V$ 与 $M$ 都使用变分自编码器（VAE）配合循环状态空间模型（RSSM）训练。目标函数可写为：

$$\mathcal{L}_{\text{WM}} = \mathbb{E}_{q}\left[ \sum_t \| o_t - \hat{o}_t \|^2 + \beta \cdot \text{KL}\left( q(z_t \mid o_{\leq t}, a_{<t}) \,\|\, p(z_t) \right) \right]$$

其中重构项保证潜变量保留观测的关键信息，KL 项则约束潜空间的结构以利于预测。该路线最重要的贡献不是具体的网络架构，而是"在想象中训练策略"（training in imagination）的范式：策略 $C$ 完全不与真实环境交互，仅在 $M$ 生成的合成轨迹上通过策略梯度或者进化策略优化。

这一范式的优势在于：潜空间动力学对计算资源极其友好，可以以数千赫兹的频率进行想象推演；其劣势在于，VAE 类的重构损失倾向于保留低频结构而忽略高频细节，对于需要精细像素级控制的操作任务（如插拔 USB 接口）不够用。

1.3.2 像素级生成：DreamerV3 与视频扩散路线

DeepMind 的 Dreamer 系列（DreamerV1/V2/V3）将潜空间动力学路线推到了工程极限。Hafner 等人在 2023 年提出的 DreamerV3 通过三项关键改进实现了跨任务规模的统一超参数：

1. 归一化与对称化的两阶段训练目标：将奖励预测、价值估计、动作选择分别归一化到统一的损失尺度上； 2. 离散与连续动作的统一接口：通过 straight-through 梯度实现端到端可微的动作采样； 3. RSSM 的层级化扩展：在原始 RSSM 基础上引入"确定性的 GRU 状态 + 随机的潜变量"双通道结构，使潜空间的概率预测能够更好地建模多模态未来。

DreamerV3 在《Minecraft》钻石收集任务上首次实现了从零开始、无人工演示、无任务特定奖励工程的具身智能，并达到了与人类玩家相当的水平。这一成果标志着潜空间动力学范式在通用具身决策问题上具有可扩展性。

与此同时，另一条像素级生成路线——基于视频扩散模型的世界模型——自 2023 年起迅速崛起。代表性工作包括 GAIA-1（用于自动驾驶场景生成）、UniSim（用于通用视频世界模型）以及 DriveDreamer 等。该路线的核心思想是用一个视频扩散模型直接对未来若干帧进行条件生成：

$$p_\theta(o_{t+1:t+H} \mid o_{\leq t}, a_{\leq t+H-1}) = \prod_{h=1}^{H} p_\theta(o_{t+h} \mid o_{t+h-1}, a_{t+h-1}, z)$$

其中 $z$ 是通过跨帧注意力机制注入的隐式条件。该路线的优势是生成质量高、能够建模复杂的多模态未来（例如自动驾驶中"前车可能左转也可能右转"的分叉）；劣势是推理成本极高，难以支持长视野的策略搜索。

1.3.3 联合嵌入预测架构：LeCun 的 JEPA 路线

Yann LeCun 自 2022 年起在多次公开演讲中反复强调：自回归生成模型（包括大语言模型和视频扩散模型）无法成为通往自主机器智能（Autonomous Machine Intelligence, AMI）的基础模块，因为生成 $p(y \mid x)$ 在高维空间中是病态的——存在无数种与 $x$ 一致的未来，而生成模型必须在这些未来之间分配概率质量，导致训练目标与决策需求失配。

JEPA（Joint Embedding Predictive Architecture）的回应是放弃显式的像素级生成，转而学习一个预测嵌入空间中"下一时刻嵌入"的模型：

$$\mathcal{L}_{\text{JEPA}} = \| f_\theta(z_t, a_t) - \text{sg}(z_{t+1}) \|^2$$

其中 $z_t = E_\phi(o_t)$ 是由编码器 $E_\phi$ 提取的观测嵌入，$f_\theta$ 是动力学头，sg 是 stop-gradient 操作。该损失函数不要求 $f_\theta$ 输出的"嵌入逆变换回像素"看起来真实，只要求它在嵌入空间中接近真实下一帧的嵌入。

JEPA 路线的关键主张有三：

1. 非生成性是优点而非缺点：不重建像素意味着模型可以专注于学习抽象的、可用于决策的不变性； 2. 潜空间结构必须通过非对称性保证：单纯最小化嵌入预测误差会退化为平凡解（输出常数），因此需要通过某种非对称结构（如 VICReg 中的方差—协方差正则化）来防止维度坍缩； 3. 分层规划与能量模型：JEPA 在高层应当与基于能量的模型（Energy-Based Model, EBM）耦合，使得策略搜索等价于在能量景观上的梯度下降。

1.3.4 三种范式的本质差异：目标函数视角

为避免后续讨论陷入术语混乱，本书用下表总结三条路线的本质差异：

| 维度 | 潜空间动力学 (World Models / Dreamer) | 像素级生成 (Diffusion WM) | JEPA | |---|---|---|---| | 预测对象 | 潜变量 $z_{t+1}$ | 像素 $o_{t+1}$ | 嵌入 $s_{t+1}$ | | 损失函数 | 似然 + KL | 噪声预测 MSE | 嵌入距离 + 正则化 | | 多模态未来建模 | 通过随机潜变量 | 通过扩散过程的随机性 | 通过潜空间的多模态结构 | | 与策略耦合 | 端到端可微或行为克隆 | 多为离线数据生成 | 通过 EBM 能量耦合 | | 主要适用场景 | 在线强化学习、规划 | 数据合成、离线预训练 | 自监督预训练、抽象推理 |

值得强调的是，这三条路线并非互斥。在实践中，DreamerV3 的潜空间动力学与扩散模型的视频生成经常结合使用——前者用于在线策略搜索，后者用于大规模数据扩增。JEPA 的思想也可以被吸收进 RSSM 的设计中，作为潜变量正则化的一种手段。理解它们各自的归纳偏置，比简单贴标签更重要。

1.4 预测编码与内部模型假说：为什么"世界模型"在认知层面是必然的

1.4.1 预测编码理论的核心主张

预测编码（Predictive Coding）最早由 Rao 与 Ballard 在 1999 年提出，作为对 V1 皮层功能的一种解释性框架。其核心主张是：大脑皮层的高级区域不断生成对低级区域活动的预测，低级区域则将预测误差反向传播回去；学习等价于调整预测权重以最小化误差信号。

在数学形式上，预测编码可以被写为一个分层贝叶斯滤波器：给定观测 $x$ 与先验 $p(s)$，大脑维持一个对隐状态 $s$ 的后验估计 $q(s)$，其更新规则为：

$$\dot{q}(s) \propto -\frac{\partial}{\partial s}\left[ \log p(s) + \log p(x \mid s) \right]$$

该动力学的稳态解对应于对数后验的极小值。这一结构与世界模型的潜空间动力学具有惊人的形式相似性——事实上，RSSM 中的"先验网络 + 后验网络"对可以视为预测编码的一个离散时间近似。

1.4.2 内部模型假说与最优控制

神经科学中的"内部模型假说"（Internal Model Hypothesis）由 Kawato 等人在 20 世纪 90 年代提出，最初用于解释小脑在运动控制中的作用。该假说主张：大脑在小脑中维护一个被控对象的"前向模型"（forward model），用于预测自身动作的后果；并维护一个"逆模型"（inverse model），用于将期望结果映射为具体动作。

这一框架在工程上等价于模型预测控制（MPC）：在每个控制周期，基于当前状态估计 $s_t$，预测未来 $H$ 步的状态轨迹 $\hat{s}_{t+1:t+H}$，在预测轨迹上优化动作序列 $a_{t:t+H-1}$，执行第一步，然后滚动更新。

将内部模型假说与现代世界模型对比，可以得出两个非平凡推论：

1. 世界模型应当既包含前向模型也包含逆模型：前者用于想象推演，后者用于策略的快速检索。在 DreamerV3 中，价值网络 $V_\psi$ 与动作网络 $\pi_\phi$ 同时在潜空间中训练，正是这一结构的最简实现。 2. 世界模型与控制器的耦合应当是双向的：控制器不仅在世界模型的想象中训练，其产生的轨迹偏好信号（如 TD 误差、回报预测误差）也应当回流到世界模型中，对其表征进行塑造。这一双向耦合在 Ha & Schmidhuber 的原始 World Models 中并未实现，但在 Dreamer 系列与 JEPA+Energy Model 的设计中得到了不同程度的体现。

1.4.3 Free Energy Principle 的统一视角

Karl Friston 提出的自由能原理（Free Energy Principle）将预测编码与主动推理（active inference）统一到一个变分推断框架中。其核心方程为：

$$F = \mathbb{E}_{q(s)}[\log q(s) - \log p(o, s)] \geq -\log p(o)$$

主动推理主张：行动的目的不是最大化奖励，而是最小化未来的预期自由能（即未来观测的不确定性或意外性）。这一视角将世界模型、策略与价值函数统一为同一个目标函数的不同组成部分，并解释了生物智能体为何在没有外部奖励信号时仍能进行自发的探索性行为。

虽然本书不会深入讨论自由能原理的技术细节，但读者应当意识到：现代世界模型研究的几乎所有重大方向——包括 Dreamer 的潜空间预测、JEPA 的嵌入预测、Diffusion Policy 的动作生成——都可以在该原理的视角下被理解为对"自由能"的某种近似优化。这一统一视角有助于在面对新方法时快速建立概念定位。

1.5 仿真平台与基准评测的演进：从 MuJoCo 到 Isaac Lab

1.5.1 第一代仿真器：物理准确性与渲染速度的权衡

具身智能研究的工程基础是物理仿真器。第一代主力工具 MuJoCo（Multi-Joint dynamics with Contact）由 Emanuel Todorov 于 2011 年发布，以其基于广义坐标的接触动力学求解器著称，在连续控制的物理精度上显著领先于当时基于刚体引擎（ODE、Bullet）的同类工具。MuJoCo 在 DeepMind 控制套件（DeepMind Control Suite, DMControl）中被用作标准物理引擎，使得 Hopper、Walker、Humanoid 等任务的强化学习结果成为可复现的基线。

MuJoCo