World Models and Embodied Intelligence: A Formal Framework / 世界模型与具身智能：形式化框架

第 1 章　世界模型与具身智能：形式化框架

Chapter 1　World Models and Embodied Intelligence: A Formal Framework

一个具身智能体（embodied agent）若仅能在毫秒级的时间尺度上完成感觉运动反射，那么它在面对长视野、强耦合、稀疏奖励的复杂任务时，几乎必然陷入策略冻结或试错陷阱。从反应式控制（reactive control）走向深思熟虑式控制（deliberative control），需要的不是更快的执行器或更大的策略网络，而是智能体对自身所处环境拥有一种可计算、可推演、可反事实的"内在表征"——这就是世界模型（world model）。本章的目标，是为这一概念建立严格的形式化锚点：我们将回答四个层层递进的问题——世界模型在数学上是什么？它在具身认知闭环中处于什么位置？它与策略、价值函数在 POMDP 框架下如何耦合？以及当前主流实现可以归纳为哪几种范式？最后，我们以四个代表性系统作为切片，展示从潜变量强化学习到大模型驱动生成式环境模拟的演进光谱。

---

1.1　世界模型的形式化定义：潜变量动力学的可学习近似器

1.1.1　两条历史线索的汇流

世界模型并非凭空出现的新概念，它在两条独立演进的学术脉络中分别生根，最终在深度学习时代合流。

第一条线索来自认知科学。苏格兰哲学家 Kenneth Craik 在 1943 年的著作 *The Nature of Explanation* 中首次系统提出：人类大脑并非对外部刺激做直接反应，而是构建一个关于外部世界的"小型尺度模型"（small-scale model），用以预测事件走向并指导行动。这一思想在 Philip Johnson-Laird 的"心智模型"（mental model）理论中被进一步形式化——心智模型是一种基于表征的、可用语言和图像操纵的内在结构，它使人类能够进行"离线推演"（offline simulation），即在不实际执行动作的情况下，模拟动作的后果。这一能力构成了人类深思熟虑能力的认知基础。

第二条线索来自工程与机器学习。控制论中的状态空间模型（state-space model, SSM）、Kalman 滤波、隐马尔可夫模型（HMM）早已构成"潜变量动力学"的数学基础。区别于直接在高维观测空间中建模动力学，这些方法将系统的真实状态压缩到一个低维潜空间（latent space），并假设观测是该潜状态的某种噪声函数。在深度学习时代，这一思想被两股力量分别复兴：其一是以 variational autoencoder 为代表的潜变量生成模型，它学会了把高维像素观测压缩为紧凑的潜变量；其二是循环神经网络尤其是 LSTM 推动了序列预测的实用化，使"在潜空间中预测下一步"成为可学习的对象。Ha 与 Schmidhuber 在 2018 年的工作 *World Models* 首次将这两股力量有机结合，奠定了现代世界模型的标准范式：编码器将观测映射为潜变量，动力学网络在潜变量上做前向预测，解码器将潜变量还原为观测。

这两条线索的汇流并非偶然。它们共同指向一个核心论断：智能体若要超越反应式，必须在内部构建一个"可计算的现实副本"（computable replica of reality），而这个副本必然要以潜变量动力学的方式存在——它必须足够紧凑以至于可在有限的算力下迭代，必须足够抽象以至于能跨越具体情境，必须足够准确以至于推演出的结果具有指导行动的价值。

1.1.2　形式化定义

设智能体在离散时间 $t=0,1,2,\ldots$ 与环境交互。环境在每一时刻产生一个观测 $o_t \in \mathcal{O}$ 与一个奖励 $r_t \in \mathbb{R}$，智能体根据策略输出动作 $a_t \in \mathcal{A}$。我们假设存在一个不可直接观测的真实马尔可夫状态 $s_t \in \mathcal{S}$，使得系统动力学满足：

$$ o_t = O(s_t), \qquad s_{t+1} = T(s_t, a_t), \qquad r_t = R(s_t, a_t) $$

其中 $O$、$T$、$R$ 分别为观测函数、转移函数与奖励函数。在绝大多数现实任务中，$O$、$T$、$R$ 都是未知的。

定义 1.1（世界模型 / World Model）。 一个世界模型是一个参数化三元组 $\mathcal{M}_\theta = (\phi_\theta, f_\theta, \psi_\theta)$，由编码器 $\phi_\theta: \mathcal{O} \to \mathcal{Z}$、动力学网络 $f_\theta: \mathcal{Z} \times \mathcal{A} \to \mathcal{Z}$、以及解码器 $\psi_\theta: \mathcal{Z} \to \mathcal{O}$ 组成，其中 $\mathcal{Z}$ 是潜变量空间。给定历史轨迹 $(o_0, a_0, o_1, a_1, \ldots, o_t)$，模型通过递归应用编码与动力学产生潜变量序列：

$$ z_k = \phi_\theta(o_k), \quad \hat{z}_{k+1} = f_\theta(z_k, a_k), \quad \hat{o}_k = \psi_\theta(z_k) $$

并通过下式进行端到端训练：

$$ \mathcal{L}(\theta) = \sum_{k=0}^{t} \Big[ \lambda_{\text{rec}} \cdot \| \hat{o}_k - o_k \|^2 + \lambda_{\text{dyn}} \cdot D_{\text{KL}}\big(q(z_k \mid o_{\le k}, a_{<k}) \,\|\, p(z_{k+1} \mid z_k, a_k)\big) + \lambda_{\text{rew}} \cdot (\hat{r}_k - r_k)^2 \Big] $$

其中三项损失分别对应重构保真度、动力学一致性与奖励预测精度，$\lambda_{\text{rec}}$、$\lambda_{\text{dyn}}$、$\lambda_{\text{rew}}$ 为权重超参数。

关键说明。 这一形式化蕴含了几个重要的工程选择。第一，潜变量 $\mathcal{Z}$ 通常被设计为比 $\mathcal{O}$ 低若干个数量级的空间——以 Atari 帧为例，$o_t$ 的维度约为 $10^4$（堆叠帧），而 $z_t$ 的维度通常仅为 $10^2$ 至 $10^3$。这种压缩并非纯粹的工程便利，而是一种深刻的归纳偏置：智能体被迫忽略与任务无关的视觉细节，保留可预测、可泛化的因果结构。第二，动力学函数 $f_\theta$ 的具体形式——确定性 vs 随机性、离散 vs 连续、欧几里得 vs 流形——定义了不同范式，我们将在 1.4 节展开。第三，奖励预测项 $\lambda_{\text{rew}}(\hat{r}_k - r_k)^2$ 并非世界模型的必要组件；许多纯生成式世界模型（如 GAIA-1、Genie 2）并不显式预测奖励，而将价值评估完全交给下游的策略学习。但若希望模型同时承担"模拟器"与"评估器"的双重角色，则必须保留该项。

1.1.3　为何必须是"潜变量"：维度诅咒与抽象

读者可能会追问：为何不能直接在像素空间或原始观测空间建模动力学？这是一个关于归纳偏置的根本问题。

直接在高维观测空间建模 $\hat{o}_{t+1} = F(o_t, a_t)$ 看似直观，但在实践中面临三重障碍。首先是维度诅咒（curse of dimensionality）：高维空间中数据呈指数级稀疏，模型无法学到可靠的统计规律。其次是无关变量干扰（distractor interference）：观测中大量信息与未来演化无关——以驾驶场景为例，天空云彩的精确形状、道路旁树木的细节纹理，对下一步轨迹预测几乎毫无贡献。第三是长视野外推不稳定（long-horizon instability）：在高维空间做逐步预测，每一步的误差会在多步迭代中迅速积累并放大，这正是传统系统辨识在视觉伺服中失败的根本原因。

潜变量动力学的核心价值在于：通过学习一个有意义的抽象表征，将问题从"在高维空间拟合函数"转化为"在低维结构化空间做推演"。这是一个用归纳偏置换取样本效率与稳定性的经典交换——我们假设环境中存在一个紧凑的、缓变的、可因果分解的潜状态，并以结构化的方式去发现它。这一假设在物理世界的绝大多数任务中都是成立的：物体的位置、速度、相对距离、接触状态等少量物理量，构成了预测未来所需的核心信息。

从贝叶斯视角看，潜变量 $z_t$ 扮演着充分统计量（sufficient statistic）的角色：给定过去轨迹的最优预测仅依赖于 $z_t$，而无需再访问原始历史。这一性质在理论上由数据处理不等式（data processing inequality）保证，并在工程上为循环神经网络的隐藏状态提供了目标函数。

---

1.2　具身智能的感知-认知-行动闭环与世界模型的嵌入位置

1.2.1　具身认知的三元结构

具身智能（embodied intelligence）主张：智能并非抽象的符号运算，而是身体（body）、大脑（brain）与环境（environment）三者通过感知-行动循环不断耦合的涌现产物。这一立场与经典 GOFAI（Good Old-Fashioned AI）的根本差异在于，它承认世界不是被动的符号容器，而是与智能体持续交换信息的耦合系统。

从工程视角，具身智能可以分解为三个相互嵌套的功能模块：

• **感知（Perception）**：将原始传感器流（视觉、触觉、IMU、激光雷达等）转化为结构化的内部表征。
• **认知（Cognition）**：在内部表征上完成推理、规划、预测、记忆等"离线"操作。
• **行动（Action）**：将认知决策转化为对执行器的控制指令。

这三个模块构成一个时间尺度跨度极大的闭环：感觉运动反射在毫秒级完成，而深思熟虑式规划可以跨越秒、分、小时乃至更长。这种时间层级性（temporal hierarchy）正是世界模型发挥作用的关键。

1.2.2　反应式与认知式的分野

并非所有具身系统都需要世界模型。Rodney Brooks 在 1986 年的 *Intelligence Without Representation* 中论证：通过层级化的 subsumption architecture，机器人完全可以仅凭反射式行为完成复杂任务。这种反应式控制（reactive control）的优势在于响应快、鲁棒性强、可解释，缺点在于它无法回答"如果……会怎样"的反事实问题。

当任务需要前瞻性决策（lookahead decision-making）时，反应式架构便无能为力。考虑以下场景：

1. 移动机器人面前有一条狭窄通道，左右均有障碍物，通道后方目标可见。反应式策略会因局部极小值而卡死；只有能在内部"滚动模拟"若干步的智能体才能找到可行路径。 2. 自动驾驶中，前车刹车灯亮起，但本车前方尚有大型卡车遮挡视野。无模型策略只能被动等待；具备世界模型的智能体可以推断前车大概率正在减速，从而提前调整车速。 3. 机械臂抓取透明或反光物体时，视觉观测高度不可靠。具备视觉动力学模型的系统可以通过预测下一帧观测来主动选择最有信息量的视角。

这些场景的共同点是：决策必须依赖对未来的预测，而预测必须依赖一个可调用的环境模型。这就是世界模型在认知模块中的不可替代性。

1.2.3　世界模型在闭环中的位置

下图展示了世界模型在具身认知闭环中的精确位置：

```mermaid flowchart LR S[Environment] -->|raw observation| E[Encoder / Perception] E -->|latent z_t| W[World Model M] W -->|predicted z_{t+1}, r_t| P[Planner / Policy] P -->|action a_t| A[Actuator / Motor] A -->|control signal| S W -.imagined rollouts.-> P ```

信息流的解释。 环境产生的高维观测首先经过编码器 $\phi$ 被压缩为潜变量 $z_t$；该潜变量馈入世界模型 $\mathcal{M}_\theta$，后者既可单步预测 $(\hat{z}_{t+1}, \hat{r}_t)$，也可在给定候选动作序列下进行多步想象（imagined rollout）。规划器或策略网络基于世界模型的输出来选择动作。值得注意的是，世界模型与策略之间的接口有多种设计：策略可以直接消费 $z_t$（端到端方式），也可以消费想象轨迹中的虚拟状态（model-based planning 方式），还可以消费世界模型的内部表征（representation learning 方式）。

两个时间尺度。 在这一闭环中，存在两个相互独立的时间尺度：真实交互尺度（real-time loop）与想象推演尺度（imagination loop）。前者要求在毫秒级内完成编码、决策与执行；后者允许在世界模型内部进行任意深度的"沙盘推演"，而无须真实执行动作。这种"现实-想象"双轨架构，是世界模型区别于传统模型预测控制（MPC）的关键——MPC 通常假设一个固定模型并做局部线性化，而世界模型是数据驱动的、可学习的、可在想象中做全局搜索的。

1.2.4　世界模型的三种使用模式

根据世界模型在闭环中的不同功能，可将其使用模式分为三类：

1. 替代模型（surrogate model）：世界模型替代真实环境用于策略学习。智能体在想象中产生大量经验，无需昂贵或危险的真实交互。这种模式在 Dreamer 系列工作中被充分发挥。 2. 规划器（planner）：世界模型在决策时进行在线搜索，如模型预测控制中的滚动时域优化、蒙特卡洛树搜索（MCTS）等。这种模式在 AlphaZero、MuZero 中得到验证。 3. 表征学习器（representation learner）：世界模型的潜变量作为通用表征，供下游任务（识别、分割、决策）共享使用。这一模式与 LeCun 提出的 JEPA（Joint Embedding Predictive Architecture）路线高度一致。

这三种模式并非互斥。同一世界模型可以同时承担多种角色。例如 DreamerV3 在训练阶段用替代模式积累经验，在测试阶段可以切换到规划模式进行微调，而其潜变量本身又可被迁移到其他任务。

---

1.3　POMDP 统一框架下世界模型与策略、价值函数的关系

1.3.1　为什么选择 POMDP 而非 MDP

部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）是描述具身智能问题的最自然框架。它由元组 $(\mathcal{S}, \mathcal{A}, \mathcal{O}, T, O, R, \gamma)$ 构成，其中各元素含义如下：

$$ (\mathcal{S}, \mathcal{A}, \mathcal{O}, T, O, R, \gamma) := \text{状态空间、动作空间、观测空间、转移函数、观测函数、奖励函数、折扣因子} $$

其动力学满足：

$$ s_{t+1} = T(s_t, a_t), \quad o_t = O(s_t), \quad r_t = R(s_t, a_t) $$

选择 POMDP 而非 MDP 的原因有三：第一，部分可观测是常态而非例外。机器人摄像头只能看到前方 180°，自动驾驶车辆无法感知被遮挡的行人，工业机械臂无法透过物体看其内部结构。第二，传感器噪声与遮挡使观测成为状态的非一一映射，直接基于观测做决策会陷入历史依赖的泥潭。第三，POMDP 提供了信念状态（belief state）这一优雅概念——它是关于真实状态的概率分布，是历史的最优压缩，也为世界模型的潜变量提供了坚实的数学基础。

1.3.2　信念状态与世界模型的等价性

在 POMDP 理论中，信念状态 $b_t \in \Delta(\mathcal{S})$ 定义为：

$$ b_t(s) := \mathbb{P}(s_t = s \mid o_{\le t}, a_{<t}) $$

它满足贝叶斯递推：

$$ b_{t+1}(s') = \eta \cdot O(s', o_{t+1}) \sum_{s \in \mathcal{S}} T(s' \mid s, a_t) b_t(s) $$

其中 $\eta$ 为归一化常数。信念状态是历史的最优充分统计量——任何理性决策都只需基于 $b_t$，无需再访问原始历史。

关键洞见（Insight 1.1）。 世界模型的潜变量 $z_t$ 在功能上等价于 POMDP 的信念状态 $b_t$。两者都是历史的低维压缩，都承担"关于世界状态的当前认知"这一角色。事实上，我们可以将世界模型视为一种参数化的、可用梯度下降学习的、适用于高维观测的信念状态估计器：

$$ \phi_\theta(o_{\le t}, a_{<t}) \approx b_t(s) $$

这一等价性具有深远的理论意义：它意味着世界模型不是工程上的权宜之计，而是 POMDP 最优决策理论的必然要求——任何想在部分可观测环境下做最优决策的智能体，都必须维护一个关于状态的概率信念，而世界模型正是这一信念的实现机制。

1.3.3　三函数耦合：策略、价值、世界模型

在 POMDP 框架下，智能体需要学习三个核心函数：

| 函数 | 符号 | 输入 | 输出 | 训练目标 | |------|------|------|------|---------| | 策略 | $\pi_\phi(a \mid z)$ | 潜变量 $z$ | 动作分布 | 最大化期望回报 | | 价值 | $V_\psi(z)$ 或 $Q_\psi(z,a)$ | 潜变量（或含动作） | 期望回报 | TD 误差或蒙特卡洛回归 | | 世界模型 | $\mathcal{M}_\theta$ | 历史轨迹 | $(\hat{z}_{t+1}, \hat{r}_t, \hat{o}_t)$ | 重构 + 预测 + 奖励 |

三者之间存在