引论：具身智能与世界模型的演进脉络与理论框架

引论：具身智能与世界模型的演进脉络与理论框架

具身智能体（embodied agent）能否在不构造关于外部世界的内部模型的前提下，实现真正意义上的通用自主行为？这一设问既是认知科学中"具身—离身"之争的核心，也是当代机器人学习领域技术分流的源头。回答它，需要穿越哲学源流、算法演进、形式化框架与现代基础模型四个层面，最终在世界模型的工程形态上落定。本书的核心论断是：随着具身任务向开放、长期、复合方向演化，对世界的内部建模将从可选项变为不可省略的认知中枢；而新一代生成式基础模型的崛起，正在为这一论断提供前所未有的实现路径。

1.1 具身认知哲学与感知运动循环的理论基础

具身认知（Embodied Cognition）作为认知科学的重要流派，其思想渊源可追溯至詹姆斯（William James）于 1890 年在《心理学原理》中提出的"意识流"概念，以及梅洛-庞蒂（Maurice Merleau-Ponty）在 1945 年《知觉现象学》中对身体作为知觉先验条件的系统论证。海德格尔在《存在与时间》中提出的"在世存在"（Being-in-the-world）进一步将认知活动置于实践情境之中，将"主体—客体"二元论从根基上松动。这些思想共同的反对对象，是笛卡尔式的离身心智观——即将认知视为可独立于身体运行的符号运算。

在人工智能的工程语境中，具身认知的真正落地始于 Brooks 1986 年发表的"无表征智能"（Intelligence Without Representation）主张。Brooks 反对传统 AI 的"感知—建模—规划—执行"（sense-model-plan-act, SMPA）范式，提出以"包容架构"（subsumption architecture）将行为分解为多个并行的感知-动作回路，使移动机器人能够在不维护任何全局世界地图的情况下完成避障与探索任务。这一思路在早期移动机器人中取得显著成功，并催生了行为主义机器人学（behavior-based robotics）这一独立分支。

然而，Brooks 范式在面对需要长时段规划的任务时迅速暴露出局限。一个典型反例是家务机器人：它需要在记忆物体位置、理解容器—内容物关系、对多步骤目标进行层级分解的条件下完成任务；这要求智能体在动作发生之前便对世界进行某种形式的"反事实模拟"。Hafner 与 Riedmiller 在 2011 年关于"内部模型强化学习"的工作、Pfeifer 与 Bongard 在《How the Body Shapes the Way We Think》（2006）中关于"软约束"（soft constraints）的论述，以及 Clark 在《Supersizing the Mind》（2008）中提出的"延展认知"（extended cognition）概念，共同为内部模型的回归提供了哲学与认知层面的合法性。

感知运动循环（perception-action loop）是连接具身认知与机器人控制的操作性概念。其基本结构可形式化为一个闭环：智能体在时刻 $t$ 依据自身状态 $s_t$ 与外部观测 $o_t$ 选择动作 $a_t$，动作施加于环境之后，环境状态依转移函数 $P$ 演化至 $s_{t+1}$，并产生新的观测 $o_{t+1}$，该观测再次进入智能体的感知通道。循环的核心特征是时间连续性、部分可观测性（partial observability）以及动作-感知耦合性。在部分可观测条件下，智能体必须对历史信息进行某种压缩或记忆，才能形成对当前状态的有效估计——这正是世界模型要承担的功能。

从工程角度看，是否在感知运动循环中显式引入世界模型，对应着两种截然不同的机器人学习路线。反应式路线主张以端到端策略网络直接将观测映射为动作，省去任何对未来的显式预测；其代表工作包括 Levine 2016 年关于 Guiding Policy Search 的端到端视觉运动控制、Pinto 与 Gupta 2016 年关于扰动恢复的自我监督学习。预测式路线则坚持在策略之外维护一个可微或可采样的世界模型，并以此支撑规划、想象训练（imagination-based training）或反事实推理；其代表工作包括 DeepMind 的 Dreamer 系列、LeCun 团队 2022 年关于 JEPA（Joint Embedding Predictive Architecture）的构想，以及近期出现的 SORA 与 RT-2。两种路线的争论并非纯技术偏好，而是对"什么是智能"这一根本问题的不同回答。本书采用折中立场：以预测式路线为骨架、以反应式策略为外环，构造一个既可解释又可扩展的具身智能体。

1.2 Model-Free 与 Model-Based 强化学习的范式分野

强化学习（Reinforcement Learning, RL）作为具身智能最广泛采用的算法范式，自 Sutton 与 Barto 在 1998 年《强化学习导论》中奠定框架以来，便始终存在"Model-Free"与"Model-Based"两条互相对照的方法论路线。理解二者的深层分野，是把握世界模型技术地位的必经环节。

Model-Free 方法直接学习从状态（或观测）到动作的策略 $\pi_\theta(a \mid s)$，或学习状态-动作价值函数 $Q_\phi(s, a)$，而不对环境的转移函数 $P(s' \mid s, a)$ 与奖励函数 $R(s, a)$ 进行显式估计。其代表算法包括 Deep Q-Network（DQN, Mnih et al., 2013）、Deep Deterministic Policy Gradient（DDPG, Lillicrap et al., 2015）、Proximal Policy Optimization（PPO, Schulman et al., 2017）、Soft Actor-Critic（SAC, Haarnoja et al., 2018）等。Model-Free 方法的优势在于实现简洁、收敛稳定、对模型误差不敏感，因此在 Atari 游戏、棋类对弈、连续控制基准（如 MuJoCo 中的 HalfCheetah、Hopper）以及近年来大规模语言模型的人类反馈强化学习（RLHF）中占据主导。

Model-Based 方法则进一步学习（或拥有）环境的转移与奖励模型 $M = (\hat{P}, \hat{R})$，并利用该模型进行规划（planning）、策略评估或样本增强。其经典方法包括 PILCO（Deisenroth & Rasmussen, 2011）通过高斯过程学习概率动力学、I2A（Imagination-Augmented Agents, DeepMind, 2017）在想象轨迹上训练策略，以及 AlphaZero（Silver et al., 2017）通过 MCTS 利用已知的游戏规则进行前向搜索。Model-Based 方法长期被认为在样本效率上具有数量级优势，但同时也面临"模型偏差"（model bias）问题——不准确的世界模型会导致规划与真实环境严重偏离，甚至比 Model-Free 表现更差。这一现象由 Talvitie 2014 年关于"模型偏差放大"的实验清晰揭示，并一度使社区对 Model-Based 路线的热情降温。

近五年来，Model-Based 方法经历了一次显著的范式回归，其驱动力来自三个方面：

第一，潜变量世界模型的兴起。Ha 与 Schmidhuber 2018 年在《World Models》一文中提出用变分自编码器（VAE）将高维观测压缩为低维潜变量 $z_t$，再用循环神经网络建模 $z_{t+1} \sim p(z_{t+1} \mid z_t, a_t)$，使智能体能够在想象环境中以极低代价完成策略训练。DeepMind 的 Dreamer 系列（Hafner et al., 2019; 2020; 2023）将这一思路推至连续控制的 SOTA 水平，并在 Minecraft、机器人操作等任务上展示出与 Model-Free 相当或更优的最终性能与显著更低的样本消耗。

第二，基于学习的规划。AlphaZero、MuZero（Schrittwieser et al., 2020）等算法证明：即使转移函数未知，也可以通过学习一个抽象的潜变量转移模型作为 MCTS 的搜索空间，从而在围棋、国际象棋、将棋乃至 Atari 上达到或超越人类水平。MuZero 的关键洞见在于——世界模型不必在像素层面准确，只要在策略改进所需的价值估计上准确即可。这一洞见极大降低了"模型必须保真"的传统要求，使"价值等价的世界模型"成为可工程化的对象。

第三，大规模视频生成模型的涌现。SORA（OpenAI, 2024）、Genie 2（DeepMind, 2024）等基于扩散变换器的视频生成系统，证明了在大规模互联网视频上预训练的生成式模型能够隐式习得物理直觉、物体持久性、3D 一致性等关键属性，使"世界模型"不再局限于 agent-specific 的小模型，而向"通用世界模拟器"演化。

从理论角度看，Model-Free 与 Model-Based 的分野可被纳入更一般的决策框架。当环境动态可学习且任务具有强规划性（如围棋、机器人抓取、自动驾驶）时，Model-Based 几乎在所有性能维度上都占优；当环境动态高度随机且任务短周期时（如 Atari Pong），Model-Free 往往更稳定。然而，对于一个真正意义上的具身智能体——它必须在部分可观测、长期、多任务的环境中持续运行——任何一种纯 Model-Free 路线都将在样本效率与可解释性上付出过高代价。表 1.1 总结了两类方法在六个关键维度上的对比，可作为读者选择算法路线时的参考清单。

表 1.1 Model-Free 与 Model-Based 强化学习关键维度对比

| 维度 | Model-Free | Model-Based（显式世界模型） | |------|-----------|---------------------------| | 样本效率 | 低（通常需 $10^6$–$10^9$ 样本） | 高（可降至 $10^4$–$10^5$ 样本） | | 规划能力 | 无 | 强（支持 MCTS、CEM、Trajectory Optimization） | | 可解释性 | 弱（黑盒策略） | 强（可查询预测与反事实） | | 实现复杂度 | 低 | 中至高（需建模误差管理） | | 任务迁移 | 难（策略高度任务特定） | 较易（模型可复用） | | 适用场景 | 短周期、低规划性 | 长周期、高规划性、复合目标 |

1.3 形式化定义：状态、观测、转移与世界模型函数

为了在后续章节中保持术语与符号的一致性，本节给出本书采用的具身智能体形式化框架。

定义 1.1（具身决策过程，Embodied Decision Process, EDP）

一个具身决策过程是一个七元组 $$ \mathcal{E} = (S, A, P, R, \Omega, O, \gamma) $$ 其中：

• $S$ 为真实环境状态空间；
• $A$ 为动作空间，可为离散或连续；
• $P: S \times A \to \Delta(S)$ 为状态转移函数，$P(s' \mid s, a)$ 表示在状态 $s$ 执行动作 $a$ 后转移到 $s'$ 的概率分布；
• $R: S \times A \to \mathbb{R}$ 为奖励函数；
• $\Omega$ 为观测空间（可为图像、点云、力矩信号、文本等任意模态）；
• $O: S \times A \to \Delta(\Omega)$ 为观测函数，$O(o \mid s, a)$ 给出在状态 $s$ 采取动作 $a$ 后获得观测 $o$ 的分布；
• $\gamma \in [0, 1)$ 为折扣因子。

智能体的目标为学得策略 $\pi: \Omega^* \to \Delta(A)$，最大化期望折扣回报 $$ J(\pi) = \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=0}^{T} \gamma^t R(s_t, a_t)\right] $$ 其中轨迹 $\tau = (s_0, o_0, a_0, s_1, o_1, a_1, \ldots)$ 由 $\mathcal{E}$ 与 $\pi$ 联合采样。当 $\Omega \neq S$ 且 $O$ 不为单射时，EDP 退化为部分可观测马尔可夫决策过程（POMDP）；当 $\Omega = S$ 时，EDP 等价于经典 MDP。本书采用 EDP 名称，以强调"具身"条件下观测空间的多模态、异质与高维特性。

定义 1.2（世界模型，World Model）

在世界模型框架下，智能体维护一个由参数 $\theta$ 控制的近似模型 $$ M_\theta: (h_t, a_t) \mapsto (\hat{s}_{t+1}, \hat{o}_{t+1}, \hat{r}_t) $$ 其中 $h_t$ 为截至时刻 $t$ 的历史信息编码。依据实现方式不同，$h_t$ 可为：

• 完整历史 $(o_0, a_0, o_1, a_1, \ldots, o_t)$ 的递归神经网络隐状态（如 RNN、Transformer、状态空间模型）；
• 历史的低维潜变量表示 $z_t$，由编码器 $q_\phi(z_t \mid o_t, h_{t-1})$ 产生；
• 历史的结构化符号状态（如物体位姿、语义图、谓词集合）。

世界模型 $M_\theta$ 的训练目标通常包含三项：

1. 状态一致性：$\mathcal{L}_{\text{state}} = -\log p_\theta(s_{t+1} \mid z_t, a_t)$，在已知状态时最小化下一状态的对数似然； 2. 观测重建：$\mathcal{L}_{\text{obs}} = -\log p_\theta(o_{t+1} \mid z_{t+1})$，使潜变量在像素或特征层面可解释； 3. 奖励预测：$\mathcal{L}_{\text{reward}} = (\hat{r}_t - r_t)^2$ 或交叉熵，保证模型可作为虚拟环境调用。

三项损失通过加权求和进行联合优化： $$ \mathcal{L}(\theta) = \lambda_1 \mathcal{L}_{\text{state}} + \lambda_2 \mathcal{L}_{\text{obs}} + \lambda_3 \mathcal{L}_{\text{reward}} $$ 权重 $\lambda_i$ 的选择对应着不同的世界模型家族：当 $\lambda_2 \gg \lambda_1$ 时，模型倾向于生成式重建（如 VAE、扩散模型）；当 $\lambda_1 \gg \lambda_2$ 时，模型更接近"抽象动力学"，仅保留决策相关信息（如 JEPA、MuZero 的潜变量转移）；当三者平衡时，模型具备完整环境模拟能力（如 GAIA-1 之于自动驾驶）。

定义 1.3（潜变量动力学模型，Latent Dynamics Model）

设 $z_t \in \mathcal{Z}$ 为 $t$ 时刻的潜变量，$a_t \in A$ 为动作。潜变量动力学模型由以下三部分组成：

• **编码器**：$q_\phi(z_t \mid o_t, z_{t-1}, a_{t-1})$，将当前观测与历史压缩为潜变量；
• **动力学**：$p_\theta(z_{t+1} \mid z_t, a_t)$，在潜空间预测未来；
• **解码器**：$p_\psi(\hat{o}_{t+1} \mid z_{t+1})$，从潜变量重建观测。

学习目标为证据下界（ELBO）： $$ \log p(o_{1:T}) \geq \mathbb{E}_{q}\left[\sum_{t=1}^{T} \log p_\psi(o_t \mid z_t)\right] - D_{\mathrm{KL}}\left(q_\phi(z_t \mid \cdot) \| p_\theta(z_t \mid \cdot)\right) $$

这正是 Dreamer、World Models、GAIA-1、UniSim 等系统的共同数学骨架。值得强调的是：世界模型并不要求其潜变量与真实状态同构。MuZero 的潜变量 $s$ 仅为价值等价类（value-equivalent）的抽象表示；DreamerV3 的潜空间为可解释的物理量（位置、速度、距离）但允许维度差；JEPA 则彻底放弃像素级重建，仅要求嵌入空间的预测一致性。这种"功能性而非结构性"的潜变量自由度，是世界模型能够在不同任务间灵活迁移的关键。

进一步地，对于基于扩散的视频预测世界模型（如 SORA、GAIA-1），可将其视为对 $\log p_\theta(o_{t+1:T} \mid o_{1:t}, a_{1:t})$ 的近似，潜变量 $z_t$ 退化为加噪过程本身；此时 ELBO 目标转化为去噪分数匹配损失 $$ \mathcal{L}_{\text{diff}} = \mathbb{E}_{\epsilon, t}\left[\|\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t}\, o_{t+1} + \sqrt{1-\bar\alpha_t}\,\epsilon, t)\|^2\right] $$ 这与潜变量动力学模型在数学上属于同一家族——都是对 $p(o_{t+1} \mid o_{1:t}, a_{1:t})$ 的可处理近似。后续章节将沿此线索展开统一论述。

1.4 世界模型与生成式基础模型的交汇

2022 年以来，生成式基础模型（Generative Foundation Models）的迅猛发展将世界模型的概念推向了一个新的高度。本节讨论这一交汇的三个面向：方法论、数据规模与具身任务。

方法论面向：生成式建模的统一视角。从 VAE（Kingma & Welling, 2014）、GAN（Goodfellow et al., 2014）、自回归 Transformer（GPT 系列），到扩散模型（DDPM, Ho et al., 2020；DiT, Peebles & Xie, 2023），生成式建模在算法上呈现出与序列预测、视频预测、动作预测日益趋同的形式。一个 30 步的机器人操作视频与一个 30 帧的游戏片段，在 token 化后都可被同一类自回归或扩散架构处理；当预测粒度从帧扩展