具身智能与世界观：概念、谱系与统一框架

第 1 章 具身智能与世界观：概念、谱系与统一框架

一个没有身体的智能体，能否真正理解它所生存的世界？这是过去半个世纪认知科学与人工智能共同追问的根本问题。当 AlphaGo 在围棋棋盘上击败人类冠军时，它展示的是纯粹的符号推理能力——它从未"听见"过一枚棋子落在棋盘上时木纹发出的轻微响声，也从未"感受"过对手落子时呼吸节奏的细微变化。然而，当我们要求一个智能体在真实的厨房中倒一杯水、在未知的森林小径上保持平衡、或者在坍塌的建筑废墟中定位幸存者时，纯粹的符号计算便显得苍白无力。具身智能（Embodied AI）的核心主张正在于此：智能不仅是信息的处理，更是身体、环境与认知三者之间的耦合涌现。世界模型（World Model）则回答了这一框架中另一个关键问题：智能体如何在内部表征"世界是如何运作的"，并基于该表征产生适应性行为？

本章从认知科学与人工智能的双重视角切入，系统定义具身智能与世界模型的核心概念，梳理从经典具身认知观到现代生成式世界模型的两条思想线索，并建立"感知—建模—预测—行动"的四象限统一框架。这一框架将作为本书后续章节的语义骨架，使我们能够在统一的术语体系中讨论环境表征、决策规划与自主行动。

1.1 从"离身"到"具身"：智能形态的范式回归

1.1.1 古典 AI 的"离身"假设及其困境

20 世纪 50 至 80 年代，以 Newell 与 Simon 的物理符号系统假设（Physical Symbol System Hypothesis）为代表的古典 AI，将智能的本质归结为对离散符号的逻辑操作。在这一范式下，智能体被设想为一个独立的推理引擎：它接收以符号编码的输入，执行形式化的推理规则，并产出新的符号序列。身体、环境、感知与运动——这些在生物学意义上不可或缺的智能要素——在符号主义的图景中被压缩为"输入/输出接口"。这种设计哲学的最典型产物是 SHRDLU 与各种专家系统，它们在封闭、良定义的玩具世界中表现优异，却无法处理真实世界的开放性与噪声。

古典 AI 的局限性随着研究深入而逐渐暴露。1980 年代兴起的连接主义（connectionism）虽然引入了并行分布式处理模型，借助反向传播算法在模式识别任务上取得突破，但绝大多数研究仍以"输入分布—网络—输出分布"的范式进行，并未真正将身体纳入智能的核心结构。Rodney Brooks 在 1991 年的著名论文《Intelligence Without Representation》中尖锐地指出，古典 AI 试图"先建立一个完整的世界模型，再让智能体在其中推理"，这条路径在面对真实世界的开放性、噪声与部分可观测性时，注定会遭遇"框架问题"（frame problem）——智能体难以确定哪些事实会因某一动作而改变，哪些保持不变。这一困难不仅是工程性的，更是概念性的：在一个由 $10^{23}$ 量级的微观粒子构成的物理世界中，任何封闭的符号表征都不可能是完备的。

1.1.2 具身认知的哲学源流

与古典 AI 形成鲜明对照的是 1990 年代以来在认知科学中兴起的具身认知（embodied cognition）思潮。其核心论断可概括为三点：第一，认知过程在很大程度上依赖身体的物理属性——感觉器官、运动器官以及它们与环境之间的耦合方式；第二，认知并非对预先给定的符号表征进行操作，而是身体与环境的持续交互中实时涌现；第三，抽象概念在很大程度上通过"具身模拟"（embodied simulation）来理解，即当我们理解"踢"这一动词时，运动皮层中与腿部运动相关的区域会被部分激活，即使我们并未实际运动身体。

Varela、Thompson 与 Rosch 在 1991 年出版的《The Embodied Mind》中，将这一思想溯源至 Merleau-Ponty 的现象学传统，并融合东方佛教哲学中的"相依缘起"观念，提出"认知即行动"（cognition as enaction）的纲领。Enactivism 这一术语由此进入认知科学主流：智能体的认知过程不是对世界表征的被动反映，而是通过行动主动地构造（bring forth）一个有意义的世界。这一立场从根本上挑战了"输入—处理—输出"的认知模型，要求我们重新审视智能与环境的关系。

紧随其后，Andy Clark 在《Being There》（1997）与《Supersizing the Mind》（2008）中进一步发展了"延展心智"（extended mind）与"认知耦合"（cognitive coupling）的概念，提出认知过程不仅依赖身体，还延伸至工具、环境乃至社会结构之中。4E 认知科学——Embodied、Embedded、Enactive、Extended——已成为当代认知哲学与认知科学的共识框架。这一思潮不仅改变了我们对人类心智的理解，也深刻影响了人工智能的研究方向。

1.1.3 Brooks 的行为主义机器人学

在工程层面，Rodney Brooks 在 1980 年代末至 1990 年代提出的包容架构（subsumption architecture）是将具身思想付诸实践的里程碑式工作。Brooks 认为，传统 AI 的根本错误在于"自顶向下"地先建立完整的世界模型，再据此进行规划。取而代之，他主张设计由多个并行的、行为驱动的层级模块组成的机器人系统——每一层直接连接传感器与执行器，无需经过中央表征。例如，最底层是"避障"行为，它仅依赖声呐或红外传感器即可驱动机器人转向；当更高层的"探索"行为被激活时，它会"包容"（subsume）下层行为的部分输出，但并不替换下层。

包容架构的深远意义在于它第一次明确指出：智能不必建立在完整的世界模型之上，身体与环境的实时耦合本身就可以产生适应性行为。这与古典 AI 的世界观形成了根本对立。然而，包容架构也有其局限：它擅长产生快速反应性的行为，但在涉及长期规划、抽象推理与语言理解的任务上表现欠恰。这正是后续世界模型研究的切入点——如何在保留具身思想的同时，重新引入某种形式的环境表征与预测能力。

1.2 世界模型的形式化定义：从 POMDP 到潜空间动力学

1.2.1 决策问题的概率骨架

为严格讨论世界模型，我们首先需要建立其数学骨架。一个标准的序贯决策问题可由部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）描述：

$$(\mathcal{S}, \mathcal{A}, T, O, R, \gamma)$$

其中 $\mathcal{S}$ 为状态空间，$\mathcal{A}$ 为动作空间，$T(s'|s,a)$ 为转移函数（给定当前状态 $s$ 与动作 $a$ 后，下一状态 $s'$ 的概率分布），$O(o|s',a)$ 为观测函数（在执行动作 $a$ 抵达状态 $s'$ 后，智能体获得观测 $o$ 的概率），$R(s,a)$ 为奖励函数，$\gamma \in [0,1]$ 为折扣因子。智能体的目标是学得一个策略 $\pi(a|o)$（在历史观测条件下选择动作的分布），使得累积折扣奖励 $\mathbb{E}_\pi[\sum_{t=0}^{\infty} \gamma^t r_t]$ 的期望最大化。

在 POMDP 框架下，世界模型本质上是对环境动力学的参数化近似，包括三个核心组件：

• **转移模型** $T_\theta(s'|s,a)$：预测环境状态如何因动作而改变；
• **观测模型** $O_\theta(o|s')$：预测智能体在某一状态下将感知到什么；
• **奖励模型** $R_\theta(s,a)$：预测环境给出的反馈信号。

这一三元组构成了世界模型的最小完备定义。无论后续的算法如何演进——基于模型的强化学习、模型预测控制、还是潜空间想象——其本质都是对这三种函数的学习与利用。

1.2.2 Ha 与 Schmidhuber 的生成式世界模型

2018 年，David Ha 与 Jürgen Schmidhuber 发表的《World Models》论文，标志着世界模型研究进入一个新的范式阶段。他们提出，智能体无需在像素空间直接学习策略，而应先在潜空间（latent space）中学习环境动力学的生成式模型，再基于该模型进行"想象"与规划。

具体而言，他们将世界模型分解为三个组件：

1. 变分自编码器（VAE） $\mathcal{V}$：将每一帧高维观测 $o_t$ 压缩为低维潜变量 $z_t$，即 $z_t \sim \mathcal{V}(o_t)$； 2. 混合密度循环网络（MDN-RNN）：在潜空间中预测下一时刻的潜变量分布 $p(z_{t+1}|z_t, a_t, h_t)$，其中 $h_t$ 为 RNN 的隐藏状态； 3. 控制器（Controller）：通常是一个简单的线性映射或浅层网络 $C$，将 $(z_t, h_t)$ 映射为动作 $a_t$。

训练完成后，智能体可以在 MDN-RNN 生成的"梦境"中进行策略学习，而无需与环境持续交互。这一范式在 Atari 游戏环境中取得了令人瞩目的成绩——在部分游戏上，使用世界模型"想象"训练的智能体性能可逼近甚至超越直接在真实环境中训练的策略。

更重要的是，Ha 与 Schmidhuber 的工作确立了世界模型研究的三大原则：表征压缩（在高维观测中提取低维本质）、时序预测（在潜空间中展开多步想象）、策略与模型的解耦（使二者可独立优化）。这三大原则成为后续 Dreamer、IRIS、GAIA 等一系列方法的共同基石。

1.2.3 世界模型的功能角色

从更抽象的视角看，世界模型在智能系统中承担三种功能性角色。

第一，作为预测器。世界模型使智能体能够回答"如果我执行动作 $a$，将会发生什么"这样的反事实问题。这种预测能力是一切规划与控制的基础——无论是弹道预测、语言模型中的下一词预测，还是自动驾驶中的轨迹预测，本质上都是对环境动力学的某种估计。

第二，作为压缩器。真实世界的高维观测流（图像、触觉、声音）包含大量冗余与噪声。世界模型通过学习紧凑的潜空间表征，使智能体能够在有限的计算资源下进行长程推理。这一思想与认知科学中的"预测编码"（predictive coding）理论高度一致——大脑被认为持续生成对感觉输入的预测，并以最小化预测误差的方式更新内部模型。Friston 的自由能原理（Free Energy Principle）将这一思想提升到一个数学上严格的框架，认为智能体的所有感知与学习行为都可以被理解为变分自由能的最小化。

第三，作为生成器。世界模型不仅能够预测已观测的情形，还能在潜空间中"想象"从未经历过的状态。这为基于模型的强化学习提供了样本效率的根本提升：智能体可以在大量合成的"想象"轨迹上进行策略优化，而不必依赖昂贵且危险的真实交互。

1.3 统一框架：感知—建模—预测—行动的四象限循环

1.3.1 感知—行动循环的具身起源

具身认知的工程化表达可追溯至经典的控制论概念——感知—行动循环（perception-action loop）。该循环描述的是：智能体通过感知获取环境信息，根据内部状态产生动作，动作改变环境状态，新一轮感知开始，如此往复。这一看似简单的循环，却将身体、感知、运动与环境紧密耦合，是具身智能的核心动态结构。

然而，单纯的感知—行动循环并不足以描述现代世界模型所具备的预测与规划能力。Ha 与 Schmidhuber 的范式告诉我们，在感知与行动之间，存在两个不可省略的中间环节：建模（building the world model）与预测（predicting consequences）。前者是离线或在线地学习环境动力学的过程，后者是在已学得模型上进行反事实推理的过程。

1.3.2 四象限框架的提出

基于上述分析，本书提出"感知—建模—预测—行动"的四象限统一框架（Perception-Modeling-Prediction-Action, PMPA），作为贯穿全书的核心语义骨架：

```mermaid flowchart LR A[感知 Perception] --> B[建模 Modeling] B --> C[预测 Prediction] C --> D[行动 Action] D --> A C -.指导.-> D B -.服务.-> C ```

象限 I：感知（Perception）。智能体通过传感器获取关于环境的多模态信息——视觉、触觉、惯性测量、声音等。在这一象限中，关键挑战包括：传感器噪声的过滤、多模态融合、跨视角一致性以及实时性约束。感知并非被动的"图像采集"，而是受任务驱动的主动过程——智能体可以通过调整注视点、移动身体、改变光照条件等方式，主动构造有意义的观测。这一思想与主动感知（active perception）研究一脉相承，也与认知科学中的"感知即假设检验"（perception as hypothesis testing）观点一致。

象限 II：建模（Modeling）。智能体基于历史感知数据与动作日志，建立对环境动力学的内部表征。建模的目标不是完美复现环境的每一细节，而是构建一个对决策有用的"够用"模型（good-enough model）。建模的产物可以是显式的物理参数（如刚体的质量、摩擦系数），也可以是隐式的潜变量（如 Ha 与 Schmidhuber 框架中的 $z_t$），甚至可以是混合形式——显式的物理引擎与隐式神经网络的组合。本书第 3 至 5 章将系统讨论建模的方法论，包括概率图模型、神经 ODE、扩散模型与基于 Transformer 的序列预测等多种技术路径。

象限 III：预测（Prediction）。智能体利用已建模型回答反事实问题：在给定当前状态与候选动作的条件下，未来若干时间步的状态、观测与奖励将如何演变？预测既可以是单步的（one-step prediction），也可以是多步的（rollout）；既可以是确定性的，也可以是概率性的；既可以在潜空间中进行，也可以回溯到原始观测空间。预测的精度、置信度与计算成本之间的权衡，是世界模型研究的核心议题。在实际部署中，长程预测的误差会随时间步指数级累积（compounding error），这一现象在 1.4 节中将被进一步讨论。

象限 IV：行动（Action）。智能体基于预测结果选择并执行动作。行动模块的设计涉及控制理论（PID、MPC）、强化学习（policy gradient、actor-critic）、模仿学习与行为克隆等多种方法。在具身场景中，行动还必须考虑物理可行性——关节限位、动力学约束、安全边界以及多智能体协调等因素。

1.3.3 四象限的耦合与回环

四象限并非孤立运作，而是通过两个反向耦合形成完整循环。前向耦合：感知 → 建模 → 预测 → 行动，使智能体能够基于累积经验产生适应性行为；反向耦合：行动的结果产生新的感知数据，反过来更新模型（在线学习）或改进感知模块（如视觉模型的自适应标定）。

这种双向耦合使具身智能成为一个自适应系统：它不仅被动地响应环境，还能通过行动主动构造学习机会。例如，一个正在学习抓取技能的机械臂，会主动尝试不同角度、不同力度，从而收集到比随机探索更具信息量的训练样本。这种"主动学习—主动感知—主动探索"的循环，是具身智能区别于纯软件 AI 的根本特征。

值得注意的是，反向耦合中还存在一条隐性的快通路：在某些紧急情况下（如碰撞前的瞬间），感知模块的输出可直接触发行动模块的反射性响应，而跳过预测环节。这一设计在生物神经系统中普遍存在（如膝跳反射），在工程实现中对应于 Brooks 包容架构中的低层行为。

1.4 Atari 与真实机械臂的对照：屏幕一致性与物理一致性

1.4.1 案例设置：两个看似相似的世界模型任务

为了阐明世界模型在游戏 AI 与具身 AI 中的本质差异，我们考察两个具体的任务场景。

场景 A：Atari 游戏世界模型。任务目标是从像素序列中学习 Atari 游戏的动力学，并据此训练能够高分通关的智能体。世界模型的训练数据来自游戏的 RAM 与屏幕输出，状态空间是游戏内部的离散或连续变量（如小球的坐标、得分等），观测空间是 210×160 的彩色图像。

场景 B：真实机械臂世界模型。任务目标是让一个 7 自由度的机械臂在真实桌面上完成抓取、堆叠、倾倒等操作。世界模型的训练数据来自 RGB-D 相机、关节编码器、力矩传感器等多种信号，状态空间包括机械臂的关节角度与速度、物体的位姿与物理属性，观测空间是多视角的图像流与触觉信号。

表面上看，这两个任务都涉及"学习环境动力学 + 在模型中规划"，但当我们深入剖析其要求时，会发现它们在一致性、可观测性与容错性三个维度上存在根本差异。

1.4.2 一致性维度：从屏幕到物理

屏幕一致性（screen-level consistency）：Atari 世界模型只需要满足"在同一输入序列下，模型生成的下一帧与游戏实际生成的下一帧在像素层面足够接近"。由于游戏引擎遵循确定性的代码逻辑，且状态空间完全由游戏内部变量决定，这一要求相对容易满足。即使模型在某些细节上偏离真实游戏（如某一颗像素的颜色），也不会对决策产生根本影响——只要关键的游戏元素（小球、挡板、得分）被正确建模即可。

物理一致性（physical consistency）：真实机械臂的世界模型则必须满足完全不同的标准。模型不仅要在像素层面逼真，更要在物理层面与现实一致。具体而言：

• **动力学一致性**：模型预测的物体运动轨迹必须符合牛顿力学、摩擦学与碰撞规律。一个看似视觉逼真但违反动量守恒的预测，对规划毫无价值；
• **可重复性**：在相同初始状态与动作下，真实系统的响应应基本一致；而游戏系统的可重复性是绝对的。物理世界中的微小扰动（空气流动、桌面振动）会使相同的动作产生略微不同的结果；
• **接触动力学**：刚体之间的接触是高度非线性、混合动力学（hybrid dynamics）的事件，传统数值积分方法在接触瞬间往往失效；
• **可微性要求**：若希望使用基于梯度的优化方法进行规划，则世界模型必须在动作与状态之间具有可微的端到端映射。这一要求对基于物理引擎的传统建模方法构成挑战。

1.4.3 可观测性与部分可观测

游戏环境通常是完全可观测的（fully observable）——所有游戏状态都以像素形式直接呈现在屏幕上（除了少数游戏内部计数器）。这使得世界模型的学习相对直接：智能体几乎可以从屏幕反推出完整状态。

真实物理环境则是部分可观测的。遮挡、光照变化、传感器噪声