引论:具身智能的范式回归与世界模型的兴起 (Introduction: The Paradigm Return of Embodied Intelligence and the Rise of World Models)
引论:具身智能的范式回归与世界模型的兴起 (Introduction: The Paradigm Return of Embodied Intelligence and the Rise of World Models)
具身智能正在成为人工智能自深度学习以来最确定的下一条主航道。这一判断并非来自商业宣传或资本叙事,而是源于一个长期被忽视的结构性事实:当前最强的感知模型与语言模型,在被部署到真实物理世界时,会暴露出样本效率极低、规划能力脆弱、可解释性缺失三类系统性短板。2022 年以来 DeepMind 的 DreamerV3 在 Minecraft 中以单一超参数集合完成通关、OpenAI 的 Dactyl 在 2018 年通过纯仿真训练实现真实机械手方块抓取、Google DeepMind 的 RT-2 把互联网级视觉—语言—动作三元组数据压入同一 Transformer、Wayve 的 GAIA-1 用生成式世界模型为自动驾驶合成多视角视频——这些工程结果尽管来自不同领域,却共享同一个底层组件:一个可微分、可预测、可想象的"世界模型"(World Model)。本章的目的,是回答一个比"世界模型是否有用"更深的问题:在 AI 第三次浪潮中,具身智能为何必然回归,世界模型在其中究竟承担何种结构性角色。我们将先回顾范式变迁,再给出形式化定义,再追溯概念根源,最后以四个里程碑系统为切片,论证一个核心命题——环境建模(Environment Modeling)是连接感知与行动的认知桥梁,是具身智能闭环中不可绕开的中段。
1.1 智能范式的三次转换:从符号主义到具身认知 (Three Paradigm Shifts: From Symbolism to Embodied Cognition)
人工智能在 70 年的发展中经历了三次结构性的范式跃迁,每一次跃迁都对应一种对"智能是什么"这一元问题的重新回答。理解这三次跃迁,是理解具身智能为何在 2020 年前后重新成为核心命题的前提。
第一次跃迁——符号主义(Symbolicism / GOFAI)。 1956 年达特茅斯会议之后,以 Newell、Simon、McCarthy 为代表的研究者将智能定义为"对符号的物理操作"(Physical Symbol System Hypothesis)。在这一框架下,知识被显式编码为规则、谓词逻辑、语义网络、专家系统;推理通过搜索与演绎完成;智能体的"身体"被刻意抽象掉,只保留"输入—推理—输出"的信息流。代表系统包括 Logic Theorist(1956)、General Problem Solver(1957)、MYCIN(1972)、Cyc 项目(1984 启动)。符号主义的优势是可解释性与逻辑严密性,但劣势同样致命:知识获取瓶颈(knowledge acquisition bottleneck)——人工编写规则的成本随领域复杂度指数增长;框架问题(frame problem)——智能体无法高效判断哪些事实会因一次行动而改变;以及与真实物理世界的脱节。1980 年代末期,AI 遭遇了第一次"寒冬",其核心症结正是符号系统难以扩展到开放、噪声、连续的物理世界。
第二次跃迁——连接主义(Connectionism)。 1986 年 Rumelhart、Hinton、Williams 重提反向传播算法(Backpropagation),2006 年 Hinton 团队提出深度信念网络(Deep Belief Network)的逐层预训练方法,2012 年 AlexNet 在 ImageNet 上以 15.3% 的 Top-5 错误率击溃所有传统方法——这三件事共同标志着连接主义对符号主义的全面接管。在连接主义框架下,智能被理解为"在大量数据上学习的非线性函数逼近器",知识以分布式权重隐式存储;智能体的"身体"依然缺席,因为训练数据可以是任何已采集的语料库或图像集。这一范式在 2012—2022 的十年间取得了压倒性成功:图像识别、机器翻译、语音合成、围棋与电子游戏、蛋白质结构预测(AlphaFold 2)相继被深度模型攻陷。然而,连接主义在物理交互场景下暴露出三个根本性短板:
- **样本效率极低(Sample Inefficiency)。** 当前最强的强化学习智能体在 Atari 游戏中需要数百万帧交互(约 68 年的连续游戏时间)才能达到人类水平,而一个 5 岁儿童只需 15 分钟。这一差距在机器人领域被放大到不经济:让一台真实机械臂学会倒水,朴素方法可能需要 10^5–10^6 次试错,每次试错的成本包括机械磨损、安全风险与人工监督。
- **长程规划脆弱(Brittleness in Long-Horizon Planning)。** 模型在新分布(out-of-distribution, OOD)下会失效:自动驾驶系统在从未见过的天气或施工场景下可能误判;机械臂在物体被轻微遮挡或位移后抓取成功率骤降。这种脆弱性本质上源于"被动拟合"——模型只学会了数据中出现过的相关性,而没有学到"如果我做 A,会发生什么"这种反事实推理。
- **可解释性缺失(Opacity)。** 数十亿参数的 Transformer 的内部决策无法被人直接审视,这在医疗、法律、自动驾驶等高风险领域构成部署障碍。
第三次跃迁——具身认知(Embodied Cognition)。 1991 年 Varela、Thompson、Rosch 在《The Embodied Mind》中提出"认知不发生在大脑内部,而发生在身体与环境的耦合之中";1999 年 Clark 在《Being There》中进一步把这一思想扩展到 AI;2003 年 Pfeifer 与 Bongard 在《How the Body Shapes the Way We Think》中用机器人实验证明"身体形态本身就是一种智能"。这些思想在 2020 年前后随着大规模预训练、扩散模型、神经辐射场(NeRF)、大规模并行仿真器(Isaac Gym、MuJoCo XLA、Habitat 3.0)以及具身基础模型(Embodied Foundation Models)的成熟,终于具备了工程落地的条件。具身智能的核心命题可概括为:智能体必须在物理或仿真身体中通过持续交互学习"世界如何运作",然后利用这种理解来规划与决策。世界模型正是这一命题的数学载体。
理解这三次范式跃迁的关键,是认识到它们不是简单的"取代"关系。符号主义提供了可解释的逻辑骨架,连接主义提供了强大的感知与模式匹配能力,而具身认知要求把这两者与一个"可预测的内在世界"绑在一起。第三次浪潮的真正创新点,不在于抛弃前两次成果,而在于承认:纯粹的"输入—输出"映射在物理世界中是不够的,智能体需要一个"我能想象的世界"作为决策的中间层。
1.2 具身智能的形式化定义:智能体—环境—身体—任务四元组 (Formal Definition: The Agent–Environment–Body–Task Quadruple)
为使后续讨论精确,我们给具身智能(Embodied Intelligence)一个形式化定义。具身智能系统 $\mathcal{E}$ 是一个四元组:
$$\mathcal{E} = \langle \mathcal{A}, \mathcal{M}, \mathcal{B}, \mathcal{T} \rangle$$
其中各分量的含义与典型实例如下:
- **$\mathcal{A}$:智能体(Agent)。** 决策主体,通常实现为一个策略网络 $\pi_\theta(a_t \mid o_t)$ 或一个层次化控制器。在现代系统中,$\mathcal{A}$ 往往由预训练的大型多模态模型(如 PaLM-E、RT-2)担任。
- **$\mathcal{M}$:环境(Environment / Milieu)。** 智能体交互的对象。环境状态 $s_t$ 通常不可完全观测,智能体只能通过传感器得到观测 $o_t$。环境由状态转移函数 $T(s_{t+1} \mid s_t, a_t)$ 与奖励函数 $R(s_t, a_t)$ 描述。在部分可观测设定下,$\mathcal{A}$ 面对的是一个 POMDP(Partially Observable Markov Decision Process)。
- **$\mathcal{B}$:身体(Body)。** 这是具身智能区别于纯软件 AI 的关键维度。$\mathcal{B}$ 由运动学结构 $\mathcal{K}$、动力学参数(质量、惯量、摩擦)、传感器模态(RGB、深度、触觉、IMU、力矩)、执行器模态(位置控制、力控、阻抗控制)共同定义。身体不是被动的"容器",而是主动塑造可行策略空间的约束。例:6 自由度机械臂与人形机器人的可达空间完全不同;同样的"抓取杯子"任务,软体手与刚性夹爪的策略分布不可互换。
- **$\mathcal{T}$:任务(Task)。** 任务规范通常以语言指令、目标图像、奖励函数、或价值函数形式给出。现代具身系统越来越多采用自然语言任务规范,例如"把红色方块放到蓝色盒子里"。任务空间 $\mathcal{T}$ 可形式化为目标分布 $p(\tau^\star)$,其中 $\tau^\star = (s_0^\star, a_0^\star, \ldots, s_H^\star)$ 是满足约束的成功轨迹。
具身智能的运作可以抽象为如下闭环:
$$o_t \xleftarrow{\text{感知}} s_t \xrightarrow{\pi_\theta} a_t \xrightarrow{\text{执行}} s_{t+1} \rightarrow o_{t+1} \rightarrow \cdots$$
但纯数据驱动方法将整个闭环折叠为 $a_t = \pi_\theta(o_t)$,即"从观测直接到动作",这正是其样本效率与可解释性短板的根源。世界模型方法的核心改造,是在 $o_t$ 与 $a_t$ 之间插入一个可学习的中间层 $\hat{s}_{t+1} = f_\phi(s_t, a_t)$,使决策从"反应式"变为"基于想象的推理"。
与经典 RL 形式化的关键差异。 经典 RL 假设环境转移函数 $T$ 与奖励函数 $R$ 是给定的,智能体通过交互学习最优策略。具身智能则更进一步:智能体同时学习 $T$ 的近似 $\hat{T}$(即世界模型的动力学分量)与 $\pi$。这一双重学习结构带来一个重要的理论问题——"学习什么为了做什么"(learning what for doing)。若 $\hat{T}$ 预测了与决策无关的细节(如背景光影),会浪费容量;若 $\hat{T}$ 抽象过强,又会丢失关键决策变量。这正是后续章节将系统讨论的"表征学习与控制的耦合优化"问题。
任务规范的语言化趋势。 2022 年以来,任务 $\mathcal{T}$ 的指定方式从手工奖励工程(reward engineering)转向自然语言指令 + 大模型解析。这一转变的工程意义在于:用户可以用日常语言描述任务,系统通过 LLM/VLM 自动转化为形式化目标。这使得具身智能从"研究原型"向"通用助手"迈出了关键一步,但其代价是引入了语言理解的歧义性与 LLM 的幻觉风险——这又反过来要求世界模型具备"自我验证"的能力,即"想象执行结果是否真的满足指令"。
1.3 世界模型的概念起源:从认知科学到 Ha & Schmidhuber 2018 (Conceptual Origins: From Cognitive Science to Ha & Schmidhuber 2018)
"世界模型"作为术语在 2018 年才被一篇论文正式技术化,但其思想根源可追溯到 20 世纪上半叶的认知科学与控制论。本节梳理这一思想谱系,为后续技术讨论奠定概念基础。
认知科学根源:心智模型与认知地图。 1948 年,Edward Tolman 在研究大鼠走迷宫时发现,动物并不像行为主义心理学预测的那样只对刺激—反应链条做条件反射,而是会在脑中构建一个"认知地图"(cognitive map),用于规划路径而非死记硬背。这一发现被后世称为"潜伏学习"(latent learning),其核心洞见是:智能体为了行动,必须先在内部表征外部世界。 1971 年,Kahneman 在《Attention and Effort》中提出"心理模型"(mental model)概念,用以解释人类如何通过压缩的、可操作的内在表征来理解复杂系统。1983 年,Johnson-Laird 在《Mental Models》中进一步形式化这一思想,认为推理的本质是在心智模型空间内的"模拟"(simulation)。这些认知科学的工作为后来的"世界模型"概念提供了哲学框架:智能不是对输入的被动反应,而是基于内部模型的主动推演。
控制论与机器人学根源:内部模型原理。 在工程领域,世界模型的思想以"内部模型"(internal model)的形式出现于 1970 年代的控制理论。Conant 与 Ashby 1970 年提出"每个良好的调节器都必须包含一个被调节系统的模型"(Every good regulator of a system must be a model of that system),这一论断被简称为"良好调节器定理"(Good Regulator Theorem)。1976 年,Kawato 等人在小脑运动控制研究中提出"前向模型"(forward model)概念,用于预测肌肉指令的感官后果。1980—1990 年代,Jordan 与 Rumelhart 在"分布式前向模型"(distributed forward models)方向上做了奠基性工作。1995 年,Miall 与 Wolpert 把这一思路整合为"内部模型架构",用于解释人类运动学习中的快速适应现象。1999 年,Wolpert、Doya、Sejnowski 在《Nature》发表《The roles of the cerebellum in motor adaptation and prediction》,系统论证了大脑必须维持一个"可预测的运动后果模型"以实现精细控制。这一脉络与认知科学脉络在 2010 年代通过深度学习汇流,最终在 Ha 与 Schmidhuber 2018 年的论文中实现技术化。
Ha & Schmidhuber 2018:技术化时刻。 David Ha 与 Jürgen Schmidhuber 在 2018 年发表的《World Models》(arXiv:1803.10122)是该领域公认的工程化奠基论文。其核心架构是一个三段式神经网络:
1. 视觉编码器 $V$(Vision / Perception Module)。 一个变分自编码器(VAE),将高维观测 $o_t$(如 64×64×3 的游戏画面)压缩为低维潜变量 $z_t \in \mathbb{R}^{N_z}$,通常 $N_z$ 仅为 32 或 64。这一步实现了"感知抽象",是后续所有推理的基础。 2. 记忆 RNN $M$(Memory Module / Dynamics RNN)。 一个循环神经网络(论文中用 LSTM),其输入是 $z_t$ 与上一时刻的隐状态 $h_{t-1}$,输出是当前隐状态 $h_t$ 与对下一步潜变量 $\hat{z}_{t+1}$ 的预测。这一步实现"动力学预测",即回答"如果我在状态 $z_t$ 采取动作 $a_t$,下一步的潜状态会是什么"。 3. 控制器 $C$(Controller / Policy)。 一个简单的线性策略 $\pi(a_t \mid z_t, h_t)$,通常通过 CMA-ES 进化策略训练而非梯度下降训练——这是该论文一个反直觉但影响深远的设计选择。
该论文的关键实验发现是:智能体可以在 $V$ 与 $M$ 学到的潜空间里"做梦"(即让 RNN 在不与环境交互的情况下自我展开),并在梦境中训练控制器 $C$。这一思想直接催生了后来的 Dreamer 系列。论文在 CarRacing 与 VizDoom 等任务上证明了"梦境训练"的策略可以零样本迁移到真实环境,且样本效率比无模型 RL(如 PPO)高出一个数量级以上。
2018 年至今的演进路径。 Ha & Schmidhuber 2018 之后,世界模型研究大致沿四条路径演进:
- **路径一:基于模型的 RL 整合。** DreamerV1(2020)、DreamerV2(2021)、DreamerV3(2023)将世界模型与 Actor-Critic 紧耦合,证明了在 Atari 与 Minecraft 等高维任务上世界模型方法可以与无模型方法抗衡甚至超越。
- **路径二:与规划算法结合。** MuZero(2019, 2020)学习了"抽象 MDP"的世界模型,并在该模型上运行 MCTS。AlphaZero 的后继 MuZero 在不知道游戏规则的情况下通过学习世界模型达到超人水平。
- **路径三:与基础模型结合。** RT-2(2023)、PaLM-E(2023)将视觉—语言模型作为感知编码器,输出离散化的"动作 token",把世界模型知识隐式地存储在 LLM 的参数中。
- **路径四:生成式世界模型。** GAIA-1(2023)、UniSim(2023)、Sora(2024)将世界模型从决策支持工具扩展为高保真视频生成器,用于合成数据、仿真训练与下游任务预训练。
这四条路径的共同哲学是:世界模型不只是"环境的预测器",更是"决策的沙盘"(decision sandbox)。智能体在真实行动前,先在内部世界模型中"试演"(rollout)多条候选轨迹,并基于这些试演的结果选择最优动作。这正是"具身智能"区别于"纯反应式 AI"的本质特征。
1.4 世界模型在决策闭环中的功能定位 (Functional Positioning in the Decision Loop)
为使后续讨论具体化,本节给出一个统一的、世界模型驱动的具身智能决策闭环框架。该框架把世界模型分解为三大功能模块:
1. 感知编码器(Perception Encoder)$E_\phi$。 输入高维原始观测 $o_t$(图像、点云、触觉信号、IMU、力矩等),输出紧凑潜变量 $z_t = E_\phi(o_t)$。其设计目标是"信息充分压缩"——保留与决策相关的信息,丢弃与决策无关的噪声。在现代实现中,$E_\phi$ 通常是预训练的视觉 Transformer(如 ViT、DINOv2、SigLIP)或点云编码器(如 PointNet++