导论：具身智能与世界模型的融合

导论：具身智能与世界模型的融合

2016 年，AlphaGo 以 4:1 击败围棋世界冠军李世石；2019 年，MuZero 在从未被告知国际象棋与围棋规则的前提下，通过自我对弈达到了超越人类大师的水平；2023 年，RT-2 让一台机械臂仅凭互联网规模的图文数据便能执行"把可乐罐挪到蓝色杯子里"这类从未训练过的指令。三条技术线、三个看似无关的里程碑，背后却共享一个被反复证明有效、却又在主流综述中常被边缘化的核心组件——一个能让智能体在"内心"推演未来的世界模型（World Model）。本章要回答的根本问题是：为什么具身智能体必须拥有一个可预测、可推演、可想象的内部世界？这种"world model"究竟解决了传统方法中的哪些不可逾越的瓶颈？ 我们将从具身认知科学出发，剖析 model-free 范式的结构性困境，再以近五年的标志性系统为锚点，画出一张贯穿全书的技术地图。

1.1 具身认知假说与 Embodied Cognition 的核心主张

理解"为什么需要世界模型"，必须先理解"为什么必须有身体"。

20 世纪 80 年代，经典人工智能（Good Old-Fashioned AI, GOFAI）将智能视为符号操作：思维是对抽象符号的逻辑演绎，身体与物理世界仅仅是输入/输出通道。Newell 与 Simon 提出的物理符号系统假说（Physical Symbol System Hypothesis）一度成为整个领域的奠基性信条。然而，1990 年哲学家 Stevan Harnad 在其经典论文《The Symbol Grounding Problem》中提出了一个尖锐诘问：一个符号系统如何能将无意义的符号与真实世界中的意义关联起来？ 如果"猫"这个符号只是系统中一个与其他符号有形式关系的字符串，那么无论系统多复杂，它对"猫"的理解与一段随机字符串对"猫"的理解没有本质区别——这就是符号接地问题（Symbol Grounding Problem）的核心困境。

Harnad 提出的解决方案是"感觉运动转导假说"（Sensorimotor Transduction Hypothesis）：符号的意义必须来自系统与世界的因果交互。在那个时代，机器人学家 Rodney Brooks 用另一种语言表达了同一思想。他在 1991 年的论文《Intelligence Without Representation》中主张，智能不需要中央式的世界表征，而是从行为（behavior）与环境的实时交互中涌现。这一思想催生了包容架构（Subsumption Architecture），将机器人分解为多个并行的、基于有限状态机的行为层，依赖底层到高层的行为抑制实现任务。Brooks 的经典例子是 Genghis——一台六足行走机器人，它没有任何全局地图，仅通过局部感觉反馈便能在不平整地面上行走。

然而，完全拒绝表征的极端立场在 90 年代末逐渐被修正。研究者意识到，纯粹的 reactive 智能在需要长时程规划、空间推理、工具使用的任务上力不从心。1999 年 Rolf Pfeifer 与 Josh Bongard 在《How the Body Shapes the Way We Think》中提出了更具整合性的视角：身体不是智能的载体，而是智能的塑造者。智能的本质是感觉-运动-认知的耦合闭环（sensorimotor-cognitive loop），身体的几何结构、动力学特性、材料属性既约束了可行的行为空间，也提供了认知得以简化的物理基础（morphological computation）。例如，人类平衡系统之所以能用极少的神经计算维持双足行走，正是因为双足动力学本身就具有内在稳定性——身体替大脑"算了"。

在认知科学层面，Margaret Wilson 与 Lucia Foglia 在 2017 年的综述中将具身认知的四个核心主张梳理为：

1. 认知是情境的（Cognition is situated）：思维发生在具体的环境背景中，而不是抽象的真空中。 2. 认知是身体约束的（Cognition is time-pressured）：实时性要求迫使认知采用近似、启发式策略。 3. 认知依赖环境承载（We off-load cognitive work onto the environment）：外部工具、笔记、地图都是认知系统的延伸。 4. 认知是为行动服务的（Cognition is for action）：感知的最终目的是指导运动，运动塑造感知。

这四条主张对具身 AI 有着直接的工程意义：智能体必须在物理（或可信的物理）世界中"活过"，通过身体的尺度、质量、接触动力学与世界持续对话，才能形成真正可用的世界表征。这与 2020 年 DeepMind 在《Attention is All You Need》之后兴起的大模型路径形成了微妙张力——纯语言模型的智能在某种意义上是无身体的、纯符号的，它缺少的正是具身认知所强调的那种与物理世界的因果接触。

值得强调的是，具身认知并不否定内部表征的必要性，而是反对将内部表征视为对世界"客观镜像"的拷贝。当代具身 AI 中的"世界模型"概念正是这种修正立场的产物：它是一种为特定智能体的特定行动服务的、概率性的、可推演的状态估计器。这与 Brooks 早期的"无表征"立场既有承继也有差异——承继的是"身体和环境不可分割"，差异在于承认了在内部进行反事实推演（counterfactual reasoning）的必要性。

至此，我们可以为本章的核心术语做出一个工作定义：世界模型（World Model）是智能体在自身状态空间内对外部环境动态的一种可参数化、可学习、可推演的概率近似。它既包括前向预测（给定当前状态和动作，预测下一状态），也包括逆向推断（给定观测序列，推断潜在状态）。它不一定是对真实物理规律的精确仿真，而是一种"足够好用以便决策"的生成式压缩。这一概念将在 1.3 节进一步展开。

1.2 Model-Free 强化学习的样本效率与泛化困境

理解了"为什么必须有身体"之后，下一个问题是：当前主流的具身 AI 方法为什么常常事倍功半？

强化学习（Reinforcement Learning, RL）在过去十年中取得了显著进展。2013 年 DeepMind 提出的 DQN（Deep Q-Network）首次证明，深度神经网络与 Q-learning 的结合能够在多种 Atari 2600 游戏中达到或超越人类水平；2017 年 OpenAI 的 PPO（Proximal Policy Optimization）成为连续控制任务的事实标准；2018 年 Haarnoja 等人提出的 SAC（Soft Actor-Critic）则在最大熵框架下进一步提升了探索效率与稳定性。所有这些方法的共同特征是 model-free——它们直接学习一个从状态（或观测）到动作的策略 $\pi(a|s)$，或一个从状态-动作对到累积回报的价值函数 $Q(s,a)$，而不显式建模环境的转移函数 $p(s'|s,a)$。

Model-free 方法在游戏和仿真中表现优异，但在物理机器人上却面临两个根本性瓶颈。

1.2.1 样本效率问题

第一个瓶颈是样本效率。Model-free RL 本质上需要智能体通过试错"遍历"足够多的状态-动作对才能学到可靠策略。以 Atari 游戏为例，DQN 的训练通常需要 200M 帧交互；OpenAI Five 在 Dota 2 上达到职业水平用了约 10,000 天的游戏经验累积；DeepMind 的 AlphaStar 在《星际争霸 II》上也消耗了相当于人类玩家 200 年的游戏量。这些数字在虚拟环境中可以承受，但搬到物理机器人上就变成不可逾越的障碍。一台机械臂完成一次"抓取"任务通常需要 2–5 秒，加上复位、换物体、时间损耗，每天 24 小时不间断运行也只能完成约 10,000–20,000 次尝试。即便如此，由于硬件磨损、传感器漂移、安全约束等因素，单个研究项目一年内能积累的有效轨迹数也极少。

更糟糕的是，许多 model-free 算法对超参数（学习率、折扣因子、批量大小、奖励缩放）极为敏感，需要大量重复实验来调优，这进一步放大了物理实验的成本。

1.2.2 泛化与分布外鲁棒性问题

第二个瓶颈是泛化。Model-free 策略通常以函数逼近的方式隐式编码"在训练分布内的最优行为"，对分布外（out-of-distribution, OOD）状态极为脆弱。这一现象在 sim-to-real 迁移中尤为突出：在仿真器中训练好的策略，部署到真实机器人上常常因为物理参数差异（摩擦系数、关节柔性、传感器噪声）而失效。

一个被广泛记录的失败模式是：仿真器中训练好的视觉策略在真实光照、纹理、相机噪声下完全崩溃——网络学到的是仿真器特有的渲染伪影，而非物体本身的几何结构。OpenAI 在 2018 年 Rubik's Cube 机械手项目中不得不引入"域随机化"（Domain Randomization）方法，在训练时对仿真器中的物理参数、视觉外观、动作延迟做大幅扰动，迫使策略学到对底层物理本质而非表层特征敏感的表征。即便如此，他们最终在 2019 年的论文中也承认："即便在受限任务上，让策略从仿真无缝迁移到真实，仍然是一个尚未被完全理解的开放问题"。

即便在真实机器人上训练，泛化问题同样严峻。一个在"抓取红色方块"任务上训练好的策略，面对"抓取蓝色圆柱"时的表现往往断崖式下跌——尽管对人类而言这几乎是同一任务。这种任务层面的过度拟合源于 model-free 策略缺乏对环境结构（物体的几何、物理、因果）的显式建模：它学到的是"看到这种像素组合，执行那种关节角度"，而不是"识别这是一个杯子，估计它的姿态和摩擦，规划一个无碰撞的抓取轨迹"。

1.2.3 规划能力的缺失

第三个深层问题是规划能力的缺失。Model-free 策略本质上是"反射式"的：给定状态，输出动作。它无法回答"如果我现在不抓，等两秒再抓，结果会怎样"这类需要前向推演的问题。这导致 model-free 智能体在需要多步推理的任务（长序列操作、工具使用、协作装配）上表现糟糕。

DeepMind 在 2019 年的 MuZero 论文中明确指出这一点："在 Atari、围棋、国际象棋这类完美信息博弈中，model-free 方法已经接近瓶颈。真正的下一个突破需要智能体不仅知道'什么是好的动作'，还必须知道'这个动作会导致什么后果'。" 这段表述直接预示了 model-based 方法——特别是世界模型——的复兴。

1.3 World Models 作为"可微分模拟器"的角色定位

Model-based 方法并非新事物。控制论时代，Kalman 滤波器、线性二次调节器（LQR）、模型预测控制（MPC）早已是工程标准。区别在于，传统 model-based 方法依赖人类工程师手写动力学模型（如刚体方程、流体方程），而现代世界模型的核心特征是"可微分模拟器"（Differentiable Simulator）——它从数据中端到端学习，且整个系统对损失函数可微，从而可以与下游决策模块联合优化。

1.3.1 历史脉络与 Ha & Schmidhuber 的奠基

2018 年，David Ha 与 Jürgen Schmidhuber 在论文《World Models》中给出了一个极具影响力的架构。他们将智能体分解为三个组件：

1. 视觉编码器 V（Vision）：用一个变分自编码器（VAE）将高维观测压缩为低维潜变量 $z_t$。 2. 记忆预测器 M（Memory）：用一个循环神经网络（RNN, 在他们的实现中是 LSTM）在潜变量空间学习转移函数 $\hat{z}_{t+1} = M(z_t, a_t, h_t)$，其中 $h_t$ 是隐藏状态。 3. 控制器 C（Controller）：一个简单的前馈网络，将 $(z_t, h_t)$ 映射到动作 $a_t$。

整个系统的训练流程是：先用观测序列训练 V 和 M（甚至 V 和 M 完全在智能体的"梦境"中训练），再固定 V 和 M，用进化策略（Evolution Strategies）训练轻量的 C。这种"在想象中学"的能力是 model-free 方法完全不具备的——智能体可以基于学到的 M 在"内心"生成任意多条轨迹，而不需要与环境实际交互。

Ha & Schmidhuber 的实验在 CarRacing、Pong、Shoegame 等多个环境中证明，World Model 架构不仅在样本效率上比同等 model-free 基准提升一到两个数量级，还能完成"在梦境中训练"——完全在生成的世界模型内训练 C，部署到真实环境后性能几乎不变。这项工作虽然受限于潜变量的表征能力和短程预测精度，但它确立了世界模型的三个核心能力：压缩（compression）、预测（prediction）、想象（imagination）。

1.3.2 Dreamer 系列：从离散潜空间到连续控制

Ha 的后续工作——DeepMind 的 Dreamer 系列——将世界模型推向了工业级复杂度。

• **Dreamer V1（2020）** 提出了一个在潜变量空间内进行策略学习的完整流程：智能体在潜空间中"想象"未来轨迹，通过反向传播通过世界模型反向传播到策略参数，实现"通过想象进行策略梯度"（Dreaming Policy Gradients）。在 Atari 上达到人类水平所需的环境交互量比 DQN 少 100 倍。
• **Dreamer V2（2021）** 引入了离散潜变量（Categorical Latents）和 KL 平衡（KL Balancing）技术，使得世界模型能够更稳定地建模多模态未来。重要的是，**它首次证明世界模型架构在 Atari 全部 55 个游戏上的中位数得分超越人类**，这一成绩与 DQN 使用的环境交互量相当，但所需训练数据显著减少。
• **Dreamer V3（2024）** 引入了多种规模（Scale）的统一超参数，证明了"一套超参数 + 不同网络规模"即可在 150+ 个领域（从 Minecraft 到机器人控制）取得 SOTA 表现。这一工作的工程意义在于：世界模型已经走出"为每个任务调参"的时代。

Dreamer 的核心数学框架可以简化为：智能体学习一个潜在动力学模型

$$p(s_{t+1} | s_t, a_t) \approx \hat{p}_\theta(s_{t+1} | s_t, a_t)$$

并通过最大化想象的累积回报训练策略

$$\max_\pi \mathbb{E}_{\tau \sim \hat{p}_\theta, a \sim \pi}\left[\sum_{t=0}^{H} \gamma^t r(s_t, a_t)\right]$$

其中 $\tau$ 是在世界模型内想象的轨迹，$H$ 是想象视野（imagination horizon），$\gamma$ 是折扣因子。这种"先在想象中试错，再在现实中执行"的范式是 model-free RL 难以企及的。

1.3.3 JEPA 与非生成式世界模型

与 Dreamer 的生成式（generative）路径不同，Yann LeCun 在 2022 年提出的 JEPA（Joint Embedding Predictive Architecture）走的是非生成式表征学习路线。LeCun 的核心论点是：对未来像素级重建是浪费算力的——智能体不需要知道"明天这片草地的每根草怎么摆"，它需要的是"明天这个物体在空间中的大致位置"。因此 JEPA 直接在嵌入空间中预测未来的表示，而非解码成像素。

JEPA 的损失函数放弃了像素级重建误差，转而采用基于互信息的 VICReg 风格正则化：

$$L_{\text{JEPA}} = \mathbb{E}\left[\|f(s_{t+1}) - g(\hat{s}_t, a_t)\|^2\right] + \lambda \cdot \text{Reg}$$

其中 $f$ 和 $g$ 是预测网络与目标网络，Reg 是防止表示坍缩的正则化项。LeCun 在 2024 年 ICLR 的演讲中明确提出："生成式世界模型在视频预测上已经接近饱和，但要让智能体真正具备常识级别的物理理解，我们需要的是抽象级别的预测，而非像素级别的预测。" 这一观点对具身 AI 的启发是：世界模型不必是对真实世界的"渲染器"，而应是对任务相关因果结构的"压缩器"。

1.3.4 三个核心能力的统一视角

综合上述工作，我们可以为"世界模型作为可微分模拟器"的角色定位总结出三个核心能力：

1. 预测（Prediction）：在给定当前状态和动作序列的条件下，估计未来的状态分布。这是 MPC、动态规划等经典方法的基础能力。 2. 想象（Imagination）：在不与真实环境交互的前提下，自主生成可能的轨迹，并通过反向传播评估不同决策的后果。这是 model-free 范式缺乏的关键能力。 3. 反事实（Counterfactual）：在想象中回溯并修改过去的决策，评估"如果当初我选了另一个动作"的结果。这是高级规划、因果推理、安全验证的基础。

一个值得注意的工程趋势是，这三类能力正在通过大型预训练模型实现统一。例如，Google DeepMind 的 RT-2 在隐式层面将视觉-语言模型用作"语义级世界模型"；英伟达的 GR00T、Physical Intelligence 的 pi0 等通用机器人基础模型也都在不同程度上将世界模型的能力整合进策略网络。可以预见，未来五年世界模型与策略网络的边界将变得更加模糊。

1.4 从游戏智能体到物理机器人的能力跃迁

理论框架确立之后，实践案例最能说明问题。我们沿着"游戏 → 仿真 → 物理世界"的迁移路径，回顾四个里程碑式的工作，分析世界模型在其中扮演角色的演变。

1.4.1 AlphaGo（2016）：人类知识 + 快速搜索

AlphaGo 的架构由四个核心组件构成：

• **监督学习策略网络** $p_\sigma(a|s)$：用 3000 万人类专家棋谱训练，预测人类高手的落子。
• **快速走子网络** $p_\pi(a|s)$：一个更轻量的策略网络，用于在 MCTS 搜索中快速采样。
• **价值网络** $v_\theta(s)$：用自我对弈数据训练，预测给定局面的胜率。
• **蒙特卡洛树搜索（MCTS）**：结合策略网络和价值网络，在搜索树中选择落子。