第一幕：当机器睁开眼睛——具身智能的起源与承诺

第一幕：当机器睁开眼睛

2014年春天，波士顿动力公司发布了一段不到两分钟的视频。视频中，一台四足机器人踉跄着走过一段碎石遍布的斜坡。每一次落脚都伴随着细微的摇晃，每一次失衡都被某个隐藏的算法在十几毫秒内捕捉并纠正。当它最终踏上平地、转身以几乎挑衅的姿态直面镜头时，全世界的观看者都产生了一种难以名状的异样感——那不是对一台机器的观看，而是一次对"另一种身体"的辨认。这段视频之所以引发轰动，并不仅仅因为它展示了硬件的进步，更因为它无意中触及了一个深埋在人工智能研究史中的命题：智能是否需要一具身体？

在随后的十年里，这个问题从哲学的边缘地带被推到了产业舞台的中央。从DeepMind的Agent57在Atari游戏中击败人类基准，到Google DeepMind的RT-2将视觉语言模型直接接入机械臂的控制系统，再到Figure 01在BMW车间里完成灵巧的工件抓取，具身智能（Embodied AI）正在以惊人的速度兑现其最初的承诺。然而，承诺的兑现并不等于问题的解决。当我们仔细审视那些仍然在长视野任务、复杂环境交互与因果推理上频频碰壁的系统时，会发现一个反复出现的结构性病灶：它们拥有强大的感知器官和灵活的执行机构，却缺乏一个内在的剧场——一个能够让它们在行动之前先"看见"行动后果的内部世界模型。本章将围绕这一核心张力展开：为什么具身智能必须拥有世界模型，而非仅仅依赖从感知到动作的端到端映射？

1.1 离身AI的黄昏：从符号主义到深度学习的认知漂移

要理解具身智能的革命性，必须先回顾它所反叛的对象。二十世纪后半叶主导人工智能研究的，是一种被称为"离身心智"（disembodied mind）的范式。它的基本假设可以用一句话概括：思维是符号的演算，而符号的计算与产生它的物质载体无关。

这一假设的源头可以追溯到图灵。1950年，图灵在《计算机器与智能》一文中提出了著名的"模仿游戏"，即后来被称为图灵测试的判据。在那篇文章中，图灵已经暗示了一个极具洞察力的观点：智能的本质在于"行为的能力"而非"内在的表征"。然而，正是这种行为主义的倾向，被后来的研究者们普遍误读为一种对身体的彻底悬置。在二十世纪五十至八十年代的符号主义黄金时代，AI研究者们热衷于用形式逻辑表示知识，用启发式搜索求解问题。在他们设想的"通用问题求解器"（GPS）里，世界被抽象成一组谓词符号，规划被还原为符号串上的演绎推理。身体——那个笨拙的、流汗的、不断与环境耦合的物质实体——被认为是一种不必要的麻烦。

这种离身范式在1997年IBM深蓝击败卡斯帕罗夫时达到了某种高潮。深蓝的胜利似乎证明了"无身体的智能"可以达到超人水平。然而，几乎在同一时期，研究者们开始注意到一个尴尬的事实：那些在棋盘上所向披靡的系统，却无法区分一杯咖啡和一支钢笔；那些能够证明数学定理的程序，却看不懂儿童画板上歪歪扭扭的太阳。这种尴尬并非偶然。它揭示了一个深刻的认知不对称：形式推理的能力与日常感知、运动的能力，在生物演化的时间尺度上，属于截然不同的智能层次。

这种不对称在1988年被Hans Moravec以惊人的坦诚表述为后来广为人知的"莫拉维克悖论"（Moravec's Paradox）："让计算机在智力测试或跳棋游戏中表现出成人水平相对容易，而让它们具备一岁儿童的感知和运动能力却极其困难，甚至不可能。"Moravec进一步给出了一个演化论的解释：在数亿年的自然选择中，感知与运动是生命最早、最稳固的本能，而抽象推理则是最近才在皮层上搭建的"高层建筑"。这个比喻虽然略带简化，但它精准地预言了后来AI研究的几乎所有结构性瓶颈。

进入二十一世纪，深度学习的崛起似乎暂时绕过了这一悖论。2012年AlexNet在ImageNet图像识别竞赛中以压倒性优势夺冠，标志着"端到端学习"范式对"手工特征工程"的胜利。随后十年，深度网络在语音、视觉、自然语言等领域全面接管。值得注意的是，这些深度模型虽然不依赖于显式的符号表征，但它们同样处于一种"离身"状态：它们的训练数据是从世界中切割下来的静态样本，它们在推理时与物理世界没有任何实时交互。无论是GPT-4还是DALL-E，它们都是某种"无身体的心智"——能够谈论世界，但从未在世界中行动过。

然而，就在离身AI高歌猛进的同时，一批离经叛道的研究者开始从另一条路径重新出发。他们的核心主张可以用Brooks那句著名的宣言来概括："the world is its own best model"（世界是其自身最好的模型）。这一主张直接挑战了符号主义的整个知识表征方案，开启了具身智能研究的第一波浪潮。

1.2 Brooks的叛变：行为主义机器人学的诞生

1986年，MIT人工智能实验室的年轻研究者Rodney Brooks发表了一篇后来被誉为"具身智能独立宣言"的论文——《无表征智能》（Intelligence Without Representation）。这篇论文不仅是一份学术宣言，更是一场针对主流AI研究的政变。

Brooks的论点可以拆解为三个层层递进的主张。第一层主张是认知层面的：智能不需要一个全局的世界模型。他用当时经典的Shakey机器人作为反例。Shakey是斯坦福研究所1966年启动的项目，它装备了当时最先进的感知设备，其软件系统则用STRIPS规划器在符号空间中搜索行动序列。每一次行动前，Shakey都需要构建一个关于房间布局的完整符号地图，然后进行长链路的逻辑推理。Brooks指出，这种架构在结构化环境中尚可应付，一旦进入真实世界的混乱与不确定性，整个推理链条就会因为某个感知误差而崩溃。更致命的是，感知误差会污染整个世界模型，进而污染所有后续规划。

第二层主张是工程层面的：智能可以通过简单的、模块化的行为层叠加而产生。Brooks提出了著名的"包容架构"（Subsumption Architecture），将机器人的控制系统组织成多个并行的行为层，例如"避免碰撞""随机游走""寻找出口""探索物体"等。底层的行为具有最高优先级，可以抑制高层行为。每一个行为层都直接从传感器输入映射到执行器输出，中间没有任何中心化的世界表征。这种去中心化的设计带来了惊人的鲁棒性：即使某层行为出错，其他层仍能维持机器人的基本生存。

第三层主张是哲学层面的：智能必须扎根于物理世界。Brooks用他那句极富煽动性的口号——"the world is its own best model"——宣告了具身范式的核心信念：当机器人真正处于环境中时，环境本身就提供了最丰富、最即时的信息。试图在机器内部重建一个完整的世界模型，不仅在工程上是不必要的，更在认知上是误导性的。

包容架构的代表作Allen（1987年的六足行走机器人）和Genghis（1989年的六足爬行机器人）展示了令人耳目一新的能力：它们能够在没有地图、没有规划、没有任何中心表征的情况下穿越复杂地形。Genghis尤其令人印象深刻——它通过触须、力传感器和倾斜计的实时反馈，在完全黑暗的环境中也能协调数十个关节完成爬行。这种能力是任何基于符号规划的离身系统都无法企及的。

然而，包容架构的成功也暴露了它自身的边界。Brooks的机器人虽然能在物理世界中稳定行动，但它们的行为模式本质上是"刺激-反应"式的：它们可以对环境做出实时响应，但无法进行长视野的、目标导向的复杂推理。让Genghis从"爬过障碍"升级到"理解这间房间的结构以便三个月后还能找到它的钥匙"，是包容架构完全无能为力的任务。Brooks在1991年承认了这一点，他在《人工智能杂志》的回顾性文章中写道："我们需要将时间尺度加入讨论……在更长的时间尺度上，表征几乎是不可避免的。"

这一坦率的自我修正揭示了一个深刻的辩证：具身并不排斥表征，离身并不必然通往智能。真正的挑战在于找到一种介于纯粹刺激-反应与全局符号规划之间的中间道路——一种能够利用身体的实时反馈、同时又支持多步推理的架构。这条中间道路，正是后来世界模型研究试图开辟的方向。

1.3 符号接地问题：哈罗德为什么听不懂"杯子"

如果说Brooks是从工程实践的角度质疑了离身AI，那么认知科学家Stevan Harnad则在1990年从哲学的根基上发动了更为致命的攻击。他的"符号接地问题"（Symbol Grounding Problem）可以这样表述：离身的符号系统如何获得意义？

Harnad的论证简洁而锐利。考虑一个典型的符号AI系统，它内部有一组符号，如"CUP"、"TABLE"、"HANDLE"，并通过形式化的语义网络将它们连接起来。这个系统可以正确地回答"杯子放在桌子上吗？"这类问题，但它的"理解"完全建立在符号与符号的转换关系上，没有任何符号被"接地"到非符号的、来自世界的信息流中。用Harnad的原话说，这些符号"漂浮"在一个由相互定义的解释关系构成的语义闭环里，"就像一个旋转的轮子无法产生前进的运动"。

Harnad认为，要打破这个语义闭环，符号必须通过感觉运动通道（sensory-motor transduction）接地于世界。符号的意义不在于它与其他符号的关系，而在于它对应于身体所经历的某种感知-运动模式。"CUP"这个符号之所以有意义，是因为我们的身体曾经在拿起它时感受到重量，在倾斜时担心液体洒出，在摔碎时听到清脆的声响。意义是从身体与世界的耦合中涌现的，而不是从符号的相互定义中演绎出来的。

这一洞见在1990年代还只是一个哲学思辨，但在2010年代深度学习与机器人学汇流之后，它获得了具体的工程含义。当我们训练一个视觉语言模型时，我们用数百万张带文本标注的图像来教会它"CUP"这个token与杯子像素模式的统计关联。但这种关联仍然是"漂浮"的——模型从未真正拿起过一个杯子，从未感受过它的温度和重量，从未在它即将倾倒时本能地伸手去扶。OpenAI的CLIP可以准确识别"易碎品"标签下的陶瓷杯，但让它驱动一个机械臂去稳妥地拿起这个杯子，所需的"理解"是完全不同层次的——后者需要的不是像素级别的统计关联，而是一种关于物理世界因果动力学的内在模型。

符号接地问题为具身智能的研究提供了一个不可回避的判定标准：一个真正具备理解能力的具身系统，必须能够将内部符号接地到感觉运动经验。这并不意味着系统必须采用显式的符号表征——它完全可能通过分布式的、亚符号的内部状态实现接地——但它必须有某种方式让其内部表征对物理世界的因果结构负责。

1.4 端到端具身系统的兴衰：从RT-1到RT-2的演化逻辑

2022年至2024年是大语言模型与机器人学深度融合的关键三年。这一融合的标志性产物是被称为"视觉-语言-动作模型"（Vision-Language-Action Model，VLA）的一类新架构。理解它们的演化逻辑，是把握当前具身智能前沿困境的关键。

第一代代表：RT-1（Robotics Transformer 1）。2022年，Google Research发布了RT-1，这是第一个真正意义上的大规模端到端机器人控制Transformer。它在13个机器人、17个月、超过13万个真实世界轨迹上训练，输出的是7个自由度的机械臂末端位姿与夹爪开合指令。RT-1的核心洞见是：将机器人动作视为一种"语言"，即一个动作token序列，然后用标准的序列到序列Transformer进行学习。这种架构的美妙之处在于其简洁性：摄像头图像和自然语言指令被tokenize后送入Transformer，Transformer直接输出动作token，无需任何中间的世界表征或显式规划。

RT-1在已见过的任务上表现出色，其泛化能力比之前的Behavior Cloning基线提升了一个数量级。但它的局限同样鲜明：它无法处理长视野任务。当任务需要超过十几步的推理时，例如"清理桌面、打开抽屉、找到钥匙、把钥匙放进抽屉再关好"，RT-1的性能会急剧下降。研究者们很快定位了原因：Transformer的注意力窗口在面对长链条的感知-动作历史时会出现"灾难性遗忘"，且模型缺乏对物理世界因果动力学的任何先验或学习到的理解。

第二代代表：RT-2（2023）。RT-2是这一系列演化的关键转折点。研究者们意识到，单纯扩大机器人数据是不够的——机器人轨迹数据的获取成本极高，而互联网上积累的视觉-语言数据则是海量的。于是，RT-2采用了"知识继承"策略：先在大规模互联网视觉-语言数据上预训练一个VLM（如PaLI-X或PaLM-E），然后在机器人轨迹数据上做联合微调。这样，模型不仅学会了动作预测，还继承了VLM在语义理解、推理、零样本识别等方面的能力。

RT-2带来了惊人的能力跃升。它可以理解"把可乐罐移向海绵"这类涉及抽象语义关系的指令，因为它从互联网预训练中获得了关于这些物体的知识。它甚至能进行"链式推理"——在动作输出前先在语言空间中进行思考。研究者们展示了一个令人印象深刻的例子：当指令是"把草莓放进正确的碗里"时，RT-2能够识别"正确"指的是"对应容器旁的图案所暗示的碗"，这种零样本的语义推理能力是RT-1完全不具备的。

但RT-2的瓶颈依然存在。2024年，Google DeepMind发布了一项重要的失败案例分析。在一个被研究者们称为"桌面清洁"的标准化测试中，RT-2的表现远远低于人类水平。这个任务看似简单：将桌面上的几个物体（杯子、笔、笔记本、塑料袋）根据其类型放入相应的容器（垃圾桶、笔筒、文件夹）。然而，RT-2在以下几种情形下反复失败：

1. 当物体的物理属性与其视觉外观不一致时。例如，一个看起来像杯子的物体实际上是一个空塑料瓶，模型无法仅从视觉推断其物理属性（如"是否可压缩"）。 2. 当任务需要预测动作后果时。例如，"把杯子放到桌角"可能导致杯子掉落，模型缺乏对这一物理后果的预测。 3. 当环境中出现训练分布外的新物体时。例如，一个从未见过的儿童玩具，模型无法根据其物理功能推断分类。 4. 当任务需要多步规划时。例如，"先移开挡路的笔筒，才能把笔记本放进文件夹"，模型倾向于贪心决策而无法考虑行动的长期后果。

这些失败模式揭示了一个核心问题：RT-2虽然继承了大量语义知识，但它的世界知识是"静态的"——它知道杯子是什么，但不知道杯子在物理上会如何行为。它缺乏一个关于物理世界因果动力学的、可预测的内部模型。这正是世界模型研究试图填补的空白。

1.5 案例解剖：一个失败桌面清洁机器人的深度复盘

为了更具体地说明端到端具身系统的结构性局限，我们来深度复盘一个假设但极为典型的案例。某研究团队在2023年部署了一台桌面清洁机器人，其规格如下：

• **硬件**：配备RGB-D摄像头（Intel RealSense D435）、7自由度Franka Panda机械臂、平行夹爪、桌面级工作空间（约1m×1m）。
• **软件架构**：基于RT-2的微调版本，使用约5000条真实演示轨迹训练。
• **任务定义**：将桌面上的物体（杯子、笔、笔记本、塑料袋、零食袋等）分类放入相应的容器（垃圾桶、笔筒、文件夹）。

在最初的实验室测试中，该系统的成功率达到82%，这一结果在论文中报告后引起了相当关注。然而，当团队将该系统部署到一个真实办公环境中时，真实世界任务的成功率骤降至34%。随后的故障分析揭示了一系列相互关联的失败模式，我们将逐层拆解这些模式，以便看清端到端架构的深层局限。

失败模式一：感知-动作的死循环

第一个也是最频繁的失败，是"感知-动作死循环"（perception-action deadlock）。考虑如下场景：桌面上有一个半透明塑料杯，里面装有半杯咖啡。机器人的指令是"把杯子里的液体倒进水槽，然后把空杯子放进垃圾桶"。

端到端系统的反应链条是：摄像头看到杯子→识别为"杯子"→生成抓取动作→执行抓取→抓取成功→生成抬升动作→抬升→倾倒动作→倾倒失败（杯口对准水槽但有偏移，部分咖啡洒在桌面上）→生成回正动作→回正→再次倾倒→循环往复。

每一次循环，模型都基于当前观测生成动作，但没有对"倾倒是否会成功"进行任何内部预测。它无法在动作执行之前"想象"倾倒后的世界状态。当一次倾倒失败时，它不知道问题出在哪里——是抓取位置偏移、关节角度误差、还是目标位置偏差——因为它没有一个关于"如果我以这种姿态倾倒，物体会如何运动"的预测模型。它只能不断地在"当前观测→动作"之间跳来跳去，形成一个无法自我纠正的死循环。

这个失败模式深刻地揭示了端到端学习的一个内在局限：它将感知到动作的映射视作一个黑箱函数，但物理世界中的行动是有后果的，而这些后果并不总是直接反映在当前观测中。要打破这个死循环，系统需要一个能够"前向模拟"（forward simulation）的内部世界模型。

失败模式二：物体物理属性的隐性假设

第二个失败模式涉及物体物理属性的推断。考虑一个看似简单的子任务："把塑料袋放进垃圾桶"。在训练数据中，塑料袋总是"轻、可变形、可抓取"的对象。然而，在实际部署中，研究团队引入了几个真实但训练分布外的物体：

• 一个装满水的塑料袋（很重，形状不稳定）
• 一个带有尖锐金属边的塑料购物袋（可能划伤夹爪）
• 一个被压扁的薯片袋（视觉上与塑料袋相似，但材质更脆）

端到端系统在面对这些变体时表现极差。它无法从视觉线索（如反光、形状、倾斜时的悬垂方式）可靠地推断出物体的重量、刚度、摩擦系数等物理属性。因为它的训练目标是"产生正确的动作"，而非"学习物理世界的因果模型"，所以它从未被要求建立"物体的物理属性→物体的行为模式"这一关键映射。

相比之下，一个具备世界模型的系统可以从少量观察中推断出物体的物理属性，并在内部"试验"不同的抓取策略，预测哪种策略会成功。

失败模式三：长视野因果的断裂

第三个失败模式涉及多步因果链。考虑一个稍复杂的任务："把笔记本放进文件夹，先移开笔筒"。这是一个典型的需要规划的任务，因为笔记本的位置被笔筒阻挡。

端到端系统在这种情形下的典型反应是"短视"的：当它看到笔记本时，它会立即尝试抓起笔记本——这一动作失败了，因为笔筒挡路——然后它会随机地尝试移开各种物体，最终在试错中碰巧移开笔筒，再次尝试抓起笔记本。整个过程既低效又脆弱。

一个具备世界模型的系统可以这样推理："当前状态中，笔记本被笔筒阻挡。动作A：直接抓取笔记本→预测结果：失败（碰撞）。动作B：先移开笔筒→预测结果：成功（笔记本暴露）。动作C：先移开文件夹→预测结果：低效（无关动作）。"通过在内部世界模型中"模拟"这些动作的结果，系统可以高效地选择最优策略。

这三个失败模式共同指向一个诊断结论：端到端具身系统在缺乏世界模型的情况下，会系统性地在"感知-动作死循环""物理属性推断"和"长视野因果推理"这三类任务上失败。这一诊断为我们提供了本章所承诺的"分析框架"的核心。

1.6 世界模型作为内在剧场：从控制论到深度预测网络

世界模型（World Model）的思想源远流长，其根源可以追溯到二