引论：具身智能的回归与世界模型的兴起

1.1 问题的提出：具身智能为何必须依赖内部模型

具身智能正处于一场静默的范式重构之中。过去十年，以深度强化学习为代表的通用人工智能研究在 Atari、围棋、《星际争霸 II》等数字环境中取得了令人瞩目的成绩——DQN 在 49 款游戏中超越人类水平，AlphaGo Zero 仅以自我对弈便击败了所有先前版本，AlphaStar 在《星际争霸 II》中达到 Grandmaster 级别。然而，当研究人员尝试将这些方法迁移到真实物理机器人时，却遭遇了系统性的失败：机械臂无法在数千次尝试内学会抓取不规则物体，四足机器人在复杂地形上的成功率长期低于 60%，人形机器人在双足动态行走任务上需要的训练交互次数常常突破百万量级。这种数字—物理鸿沟并非偶然，而是源自更深层的结构性缺陷。

本书的核心论点是：具身智能若想走向通用化，必须依赖某种形式的内部环境模型。这里的"世界模型"（World Model）并非局限于字面意义上的"模拟器"，而是泛指智能体用以预测环境动态、评估动作后果、并在潜在想象中规划行为的一切可学习、可推理的内部表征结构。这一论断并非新生——它在认知科学、神经科学和经典 AI 的历史脉络中均有迹可循；而它之所以在 2018 年后再次成为研究热点，则得益于深度生成模型、潜在表征学习与高维序列建模的同步成熟。

本章沿四条主线展开：第一，回顾具身认知哲学对传统符号 AI 的批判，解释"符号接地问题"为何使得完全抽象的智能体无法在真实世界中行动；第二，分析无模型强化学习在物理机器人部署中的样本效率瓶颈，说明为什么仅靠"试错—奖励"难以胜任长程任务；第三，讨论 Ha 与 Schmidhuber 2018 年《Recurrent World Models Facilitate Policy Evolution》何以成为方法论上的分水岭，并梳理扩散模型时代世界模型架构的演进；第四，结合特斯拉 Optimus、Figure 01、宇树 H1 等产业案例，说明人形机器人对内部仿真器、可预测性与长程规划的迫切需求。最后，本章将勾勒全书的三层结构——基础理论、算法范式、系统挑战——并指出贯穿全书的三大主题线索：可微分预测、潜在空间规划与可解释决策。

1.2 具身认知哲学与符号接地问题的再审视

具身认知（Embodied Cognition）的哲学根源可追溯至海德格尔的"在世存在"（Being-in-the-world）与梅洛-庞蒂的知觉现象学，但其在人工智能领域成为显学，则归功于 Rodney Brooks 在 1980 年代末期的开创性工作。在《大象不下棋》（*Elephones Don't Play Chess*, 1990）一文中，Brooks 严厉批判了当时主流的符号主义 AI 路线——即"感知—建模—规划—行动"的层层抽象结构——指出真正的智能主体必须在物理世界中以高度并行的方式持续运行，而非依赖中央符号表征进行推理。这一思想直接催生了"包容式架构"（Subsumption Architecture），将行为分解为多个独立反应层，在没有显式世界模型的情况下完成诸如六足行走、漫游避障等任务。Brooks 的论据是双重的。一方面，他主张"世界本身就是它最好的模型"（the world is its own best model）：任何内部表征都必须经过重新学习才能逼近真实环境的复杂性，而这种逼近既不必要也无效率；另一方面，他攻击符号系统的根本弱点——它们无法处理符号与其所指之间的接续关系。

Stevan Harnad 在 1990 年的《The Symbol Grounding Problem》一文中将这一问题形式化：符号系统中所有符号的意义最终必须通过感官—运动经验（sensory-motor experience）与外部世界建立非任意性的连接，否则便沦为"符号在符号之间滑动"的孤立语义游戏。这一问题不是单纯的工程障碍，而是指向了智能的本质——一个没有身体经验的系统，其"理解"是否是真理解，在哲学上无法被回答。Andy Clark 在《Being There: Putting Brain, Body, and World Together Again》（1997）中进一步将具身认知与预测加工结合，提出生物大脑作为"自然控制装置"（natural-born cyborgs）的论点：大脑本质上是一个预测机器，它不断利用身体与环境的耦合来减少不确定性，而这一过程所利用的内部表征，本质上就是一种特殊的世界模型。

Brooks 的纯反应式方案虽然在简单任务上取得了成功，却很快暴露了扩展性问题：当任务从避障升级到抓取、装配、长程家务协作时，纯粹的反应式策略会遭遇组合爆炸，而缺乏内部预测机制的智能体难以规划超出当前感官输入的动作后果。进入 1990 年代后期，一批研究者开始寻求中间道路。Cliff、Negrotti 与 Wilhelm 在 1993 年的论文《Implementing Real-World Agents in Pure Functional Languages》中提出，智能体应构建环境的最小可行动态模型，而非完整表征；他们强调模型的"可行动性"（actionable）维度——任何表征都必须能直接支持决策，否则便是冗余的。这一观点在某种意义上为后世的世界模型研究埋下了伏线，因为它隐含了一个后来被 Ha & Schmidhuber 进一步工程化的命题：模型不需要完美，但需要在决策所需的细节上准确。

进入 21 世纪，认知科学领域的"预测编码"（Predictive Coding）理论为具身认知提供了新的神经科学基础。Karl Friston 提出的自由能原理（Free Energy Principle）将生物体的感知与行动统一理解为对预测误差的最小化过程。其核心方程可写为：

$$F = \mathbb{E}_{q(s)}[D_{KL}(q(s|o)\,\|\,p(s|o'))] + D_{KL}(q(s)\,\|\,p(s))$$

其中 $q(s|o)$ 是给定观测 $o$ 的内部状态分布，$p(s)$ 是先验，$p(s|o')$ 是由预测生成的后验。自由能 $F$ 既上界了负证据（surprise），又为行动选择提供了梯度信号。从世界模型的角度看，自由能原理要求智能体持续维护对其所处环境的可微分生成模型，并通过梯度下降最小化预测误差——这一论断与 Ha & Schmidhuber 在工程层面提出的"在潜在空间中学习与规划"形成了概念呼应。值得注意的是，预测编码理论并未否定具身性——它要求身体作为感觉—运动耦合的中介，而世界模型则是这种耦合的内部对应物。这种"身体—模型"的二元论结构，恰恰是本书后续章节将要反复回到的核心议题，也是第 5 章信息几何部分的认知科学对照。

1.3 无模型强化学习的样本效率瓶颈

深度强化学习的"寒武纪大爆发"大约始于 2013 年 DeepMind 发布的 DQN 论文。Mnih 等人在 Atari 2600 平台上仅使用像素输入与游戏得分，便在 49 款游戏中达到了人类水平的 75% 以上。这一结果印证了"通用价值函数逼近器"的可行性，也激发了后续大量工作：Double DQN 缓解了 Q 值过高估计，Rainbow 在七项改进的基础上进一步整合了优先级经验回放，分布式 Distributional RL（如 C51、QR-DQN、IQN）将价值函数从标量推广至分布，重要性采样加权 actor-critic（如 SAC、TD3）则在连续控制中树立了新标杆。在 2016 至 2019 年间，深度 RL 似乎正在逼近通用人工智能的入口：AlphaGo 与 AlphaGo Zero 在围棋上彻底击败人类世界冠军；AlphaStar 与 OpenAI Five 分别在《星际争霸 II》和 Dota 2 中战胜职业选手；DeepMind 的 AlphaTensor 更进一步发现了一种新的矩阵乘法算法。

然而，这种繁荣掩盖了一个关键事实：所有这些里程碑都发生在可无限重置、零物理损伤、奖励信号稠密的数字环境中。一旦将同样的方法迁移到物理机器人，研究者便会遭遇样本效率的硬性约束。粗略估计，DQN 在 Pong 游戏中通常需要约一百万帧（约 36 万次状态—动作对）才能学会击败内置 AI；同样的训练量相当于一台真实机械臂以 10 Hz 的频率进行连续交互约 10 小时，而机械臂的折旧成本与故障概率远超 Atari 模拟器。Sergey Levine 在 2018 年的著名讲座中估算，将基于模型无关（model-free）策略梯度的方波动作直接部署到 Sawyer 机械臂上完成抓取任务，通常需要 $7 \times 10^5$ 至 $1 \times 10^6$ 次物理交互，而每一次交互都伴随伺服电机磨损、夹爪碰撞、力矩保护触发等副作用。

无模型方法瓶颈的根本原因在于其统计学习性质。设环境的状态空间为 $\mathcal{S}$，动作为 $\mathcal{A}$，折扣因子为 $\gamma$。在样本复杂度的标准 PAC-MDP 框架下，学习一个 $\epsilon$-最优策略所需的环境步数下界为：

$$N \geq \Omega\left( \frac{|\mathcal{S}||\mathcal{A}| \log(1/\delta)}{\epsilon^2 (1-\gamma)^2} \right)$$

其中 $\delta$ 为失败概率。即使在 $|\mathcal{S}|$ 较小的简化问题中，这一复杂度也已超过现有物理系统的承受能力；而在 $|\mathcal{S}|$ 实际为无穷大的机器人感知空间中，问题在计算意义上不可解。样本效率瓶颈进一步引发了 sim-to-real 的工程难题：既然物理交互昂贵，研究者转而构建高保真度仿真器（如 NVIDIA Isaac Gym、MuJoCo、Genesis），但跨域迁移所带来的动力学差异、光照失真、感知漂移等问题往往导致策略在真实环境中的性能下降 30%–70%。这使得"在仿真中学习"与"在世界中部署"之间形成了一道难以跨越的鸿沟。

更具挑战性的是长程规划问题。无模型 RL 通常通过时间差分（Temporal Difference, TD）学习逐步传播价值信息。当任务的时间跨度超过 1000 步时——例如"打开冰箱、取出牛奶、倒入杯中、放回冰箱"——稀疏奖励信号与价值估计的高方差会使得样本效率呈指数级恶化。智能体无法在没有"想象未来"能力的情况下，仅靠历史轨迹推断哪一系列动作最终通向奖励。正是这一系列限制，使得"内部环境模型"重新成为研究焦点。一个可学习的、潜在空间中的动力学模型 $p_\theta(s_{t+1}|s_t, a_t)$，可以以远低于物理交互的成本生成任意多条想象轨迹，从而将样本复杂度从对环境真实访问次数的依赖，转嫁为对模型学习能力的依赖。这一思路将"试错学习"重新定位为"模型学习 + 想象规划"的双阶段过程。

为了使读者建立清晰的路线感，下表对比了模仿学习、无模型 RL 与基于模型 RL 三种主流路线的核心假设与适用边界：

| 路线 | 核心假设 | 真实样本需求 | 适用场景 | 主要失效模式 | |---|---|---|---|---| | 模仿学习（IL/BC） | 专家策略易于访问 | $O(10^2)$–$O(10^3)$ 次示教 | 短程、感知—动作映射清晰的任务 | 分布偏移、灾难性复合错误 | | 无模型 RL | 环境可低成本重置 | $O(10^6)$–$O(10^9)$ 步 | 数字环境、长程 MDP、稠密奖励 | 物理成本、稀疏奖励、长程信用分配 | | 基于模型的 RL | 可学得的动力学模型存在 | $O(10^4)$–$O(10^6)$ 真实步 + $O(10^7)$ 想象步 | 物理机器人、稀疏奖励、安全约束 | 模型偏差、想象漂移、模型—真实不对齐 |

实践中，研究者通常将三条路线组合使用——例如在 Optimus 中，首先以人类演示视频训练视觉编码器（IL），再在仿真器中以无模型 RL 微调运动基元，最后借助世界模型进行长程 MPC 规划。三条路线的边界并非泾渭分明，而是构成了一条由"先验"到"在线探索"再到"想象验证"的递进光谱。这一光谱正是本书第 6 至 10 章将要逐层拆解的技术谱系。

1.4 Ha & Schmidhuber 范式的分水岭意义与扩散模型时代的演进

2018 年，David Ha 与 Jürgen Schmidhuber 在 arXiv 上发表了一篇并未在当时引起广泛关注的预印本，题为《Recurrent World Models Facilitate Policy Evolution》。这篇论文在 NeurIPS 2018 的 Deep Learning Day 议程中被简短报告，随即沉入文献海洋；但在 2020 年之后，随着潜在表征学习与无监督生成的成熟，它被反复引用并被广泛视为"基于模型强化学习"的工程范式起点。Ha & Schmidhuber 的架构由三部分组成：第一部分是一个变分自编码器（Variational Autoencoder, VAE）$V$，将每一帧高维观察 $x_t$ 压缩为低维潜在变量 $z_t$；第二部分是一个循环神经网络 MDN-RNN（Mixture Density Network + Recurrent Neural Network）$M$，在潜在空间内维护动力学模型 $p(z_{t+1}|z_t, a_t, h_t)$，其中 $h_t$ 为 RNN 的隐藏状态，记录时间上更长期的统计依赖；第三部分是一个简单的线性策略 $\pi(a_t|z_t, h_t)$，它直接在潜在空间内决策，并使用 CMA-ES 等进化策略在虚拟轨迹中迭代优化。

这一架构的真正意义在于它将"环境仿真"从外部软件解耦为一个可微分的内部模块。智能体不再需要访问真实物理世界即可生成任意长度的轨迹——它只需在想象环境中"做实验"，从而把样本效率的下界从物理交互次数降至生成模型的训练样本数。论文中报道：在赛车任务 CarRacing-v0 上，纯想象训练的策略已能达到接近真实训练的得分，而真实交互次数仅需原先的 1/100。这一结果说明，内部模型的引入并非辅助工具，而是范式转移——它改变了"数据从何处来"这一问题的答案。

这一思想在随后的工作中得到了系统化扩展。DeepMind 的 Hafner 等人于 2019 年底提出 Dreamer，其核心改动是用潜在动力学模型 $p_\theta(s_{t+1}|s_t, a_t)$ 完全替代像素级重构，并直接在潜在空间中通过策略梯度反向传播；Dreamer 在 Atari 上将样本效率较 Rainbow 提升了一个数量级。2021 年的 DreamerV2 引入了离散潜在变量与分类分布，使得 55 款 Atari 游戏均达到人类水平；2023 年的 DreamerV3 进一步将这一架构扩展到多种连续控制任务，并在 Minecraft 中以 30B 帧交互解锁了钻石——这是无模型方法难以企及的成绩（报道于 DeepMind 2023 技术报告中）。DreamerV3 的成功展示了世界模型路线的两个关键性质：表征的紧凑性与规划的潜在空间化，二者构成了本书第 5 章信息几何理论与第 6 章算法范式之间的桥梁。

与此同时，扩散模型的兴起为世界模型注入了新的语义。2023 年起，研究者开始使用去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM）替代 VAE 或 GAN 作为观察生成器。Wayve 的 GAIA-1（2023）以视频作为条件生成模型，能在给定动作序列的情况下合成 10 秒以上的自驾驶视角；NVIDIA 的 DRIVE Sim、华盛顿大学的 UniSim、谷歌 DeepMind 的 Genie 等一系列工作，进一步将这一范式从自驾驶扩展到通用机器人操作。扩散世界模型的最大优势在于：它对高维视觉分布的拟合能力远超 VAE，并且支持条件生成、反事实编辑与不确定性表征，这些性质恰恰契合安全攸关的物理部署需求。DeepMind 2024 年发布的 Genie 在 2D 游戏视频上训练后，能够让用户通过按键直接"生成"可交互的环境，这一能力预示了一种新的范式——将世界模型本身作为交互式仿真器，而非仅作为策略训练的背景。

从 Ha & Schmidhuber 2018 到 2024 年的 Genie 与 Sora，这一研究脉络呈现出三条清晰的演进方向：其一是表征的抽象层级——从像素、到潜在变量、再到符号—子目标；其二是动态预测的尺度——从单步短程、到数百步长程规划、再到任务级的语义生成；其三是规划的范式——从策略梯度的端到端训练，到 Model Predictive Control（MPC）的滚动优化，再到大型语言模型（LLM）作为高层规划器协同世界模型作为低层验证器。三条方向的交叉点，正是本书将要在第 4 章到第 11 章中重点展开的核心内容。

1.5 人形机器人产业化对内部仿真器的核心需求

如果说世界模型研究在数字环境中尚属于"研究品味"问题，那么在 2023 年之后的人形机器人产业化浪潮中，它已演变为不可回避的工程刚需。本节以三款代表性产品——特斯拉 Optimus、Figure 01、宇树 H1——为案例，分析产业化对内部仿真器的具体需求。

特斯拉 Optimus 团队在 2023 年发布的技术报告与公开演讲中明确指出，Optimus 的核心算法栈分为三层：底层为基于 NVIDIA GPU 的实时动力学引擎，中层为基于大规模视频数据训练的世界模型，顶层为由类神经网络架构驱动的任务规划器。其中，世界模型承担"在内部预演动作后果"的角色——给定当前 RGB-D 观测与目标指令（如"把红色方块放入蓝色盒子"），世界模型在 50 Hz 的频率下生成未来 1–5 秒的预测轨迹，用于在策略网络输出动作前进行安全性与可行性评估。这一架构实际上是对 Model Predictive Control（MPC）的深度学习化重构，其工程意义在于把"试错"从真实物理世界转移到内部想象空间，从而把训练成本从物理硬件磨损转移到算力消耗。

Figure 01 由 Figure AI 于 2024 年推出，其核心技术路线与 OpenAI 的早期 GPT 系列有相似的算力规模需求。该公司在融资材料中披露，其内部仿真器包含两个关键模块：一个是从互联网视频中自监督学习得到的视觉动力学模型，另一个是从机器人真实交互中学习到的本体动力学模型；二者通过潜在空间的联合嵌入实现"跨模态想象"。Figure 01 的特殊之处在于其明确的"通用基础模型"路线：研究团队相信，足够规模的世界模型可以承载不同家庭、不同任务之间的迁移，而无需重新训练整个策略网络——这与 LLM 的"预训练—微调"范式高度类似。在 2024 年 8 月发布的演示中，Figure 01 展