欢迎来到机器人的内心世界

第 1 章 欢迎来到机器人的内心世界

2024 年 8 月，硅谷创业公司 Figure 公布了一段 60 秒的视频。视频里，Figure 02 机器人站在一家模拟咖啡馆的吧台后面，听见顾客说"请给我一杯热美式"，它转身、抓杯、放胶囊、按按钮、接咖啡、递过去，全程流畅自然，背景里还能听到金属关节细微的嘎吱声。这段视频在 48 小时内被观看了 2300 万次，因为它传递出一个清晰的信号：机器人似乎真的"懂"了。

但如果你仔细看技术披露，会发现一个被忽略的事实——Figure 02 之所以能完成这个动作，背后并不只是一个"会聊天的大脑"。它的内部其实跑着三个相互协作的模块：一个听懂人话的语言接口，一个判断咖啡机状态的视觉系统，以及一个在"脑子"里悄悄预演"接下来会发生什么"的东西。那个"预演接下来会发生什么"的东西，就是本书要讲的主角——世界模型（World Model）。

一、会说话不等于会做事

打开任意一个大语言模型的聊天界面，你让它描述怎么泡一杯咖啡，它能写出非常详尽、读起来像米其林大厨教程的步骤。但你让它真的去泡——它就变成了一只只能看不能动的眼睛。

这不是因为大模型"笨"，恰恰相反，大模型在文字推理、代码生成、数学证明、长程规划这些纯抽象任务上的表现已经超过绝大多数人类。但它有一个根本性的局限：它存在于文本世界，不存在于物理世界。

文字是离散的。ChatGPT 输出"拿起杯子"这四个字时，它并不需要担心杯子的重量、摩擦力、自身关节的扭矩、桌子是不是斜的。文本空间里的"拿起"是一个动词，而在物理空间里，"拿起"是一连串高速连续的力与运动方程。模型能轻松描述前者，但要在后者中真正执行，需要一种完全不同的能力。

打个比方：大语言模型像是《舌尖上的中国》旁白——它能让你听见美食在舌尖绽开的声音、闻到酱汁的香气、感受厨师翻锅的力道，但它本人不需要真正去炒菜。

那么，为什么机器人不能直接"读"大模型的指令去行动？原因是双重的。

第一层是接地问题。大模型的训练语料里，"咖啡机"是几亿次文字共现的产物，它知道"咖啡机"后面常跟"胶囊"、"拿铁"、"出热水"这些词。但它不知道"面前这台咖啡机的胶囊仓是横着拉还是向上掀"，更不知道"刚刚别人用过之后水箱可能不到 30%"。它对物理世界没有"在场感"。

第二层是后果承担问题。大模型犯错，最严重的后果是用户觉得答案不靠谱，换一个 prompt 重新来。机器人犯错，最严重的后果是咖啡洒了一地、机械臂撞坏台面、热水溅到顾客手上。机器人必须为每一个动作的后果"埋单"，所以它不能像大模型那样"想到哪说到哪"，它必须在行动之前，先在脑子里把动作预演一遍。

这就是为什么"具身智能（Embodied AI）"在过去三年里迅速从学术名词变成产业风口：大家意识到，单纯把大模型"装"进机器人里，远远不够；我们需要的，是一个能在物理世界里"试错"、能"想象"、能"预判"的全新系统。

二、具身智能：必须为动作负责的 AI

具身智能并不是一个新词。1950 年，图灵在《计算机器与智能》那篇文章里就提到，机器要证明自己具备智能，最好拥有"一只眼睛和一只手"。但直到 2020 年代，这一愿景才真正具备落地条件——视觉模型足够强、计算硬件足够便宜、强化学习算法足够稳定。

具身智能和传统 AI 的差别，可以浓缩成一句话：传统 AI 在符号空间里推理，具身智能在物理空间里执行。

我们用三个对比维度，把这件事讲清楚。

对比一：输入输出的物理性。 传统 AI 接收字符串，输出字符串，整个过程可以完全在云端完成，电力和网络就是它全部的"身体"。具身 AI 接收的是摄像头画面、麦克风音频、触觉传感器、关节编码器、惯性测量单元（IMU）……这些是连续的、高维的、含噪的、随时间剧烈变化的数据。输出也不再是文字，而是电机扭矩、关节角度、移动速度。这些量纲混杂在一个时间轴上，要求系统在毫秒级别内完成感知-决策-执行闭环。

对比二：时间尺度。 大语言模型的"思考"可以很慢：一个问题让 GPT 思考 30 秒生成答案，用户的耐心还撑得住。但机器人不能 30 秒才决定下一步往哪走——它必须在 50 毫秒内完成从图像采集到动作指令的闭环，否则就会摔倒、撞人、错失节拍。具身智能的算法设计因此必须在"准确性"和"实时性"之间反复权衡。

对比三：后果承担。 这一点最关键。传统 AI 的"错误"是软错误——答错题、生成偏见内容、产生幻觉（hallucination），用户会皱眉、扣分、关闭页面。具身 AI 的错误是硬错误——机械臂砸坏手机、自动驾驶撞上行人、四足机器人从楼梯上滚下来。具身 AI 必须对每个动作的物理后果负全责。这个根本区别，决定了具身智能的核心难题不是"怎么让机器人做对一件事"，而是"怎么让机器人在做事前就能预判对错"。

预判对错，需要的不是更大的语言模型，而是一个能让机器人在脑子里"提前过一遍未来"的机制。这就是世界模型。

三、世界模型：机器人脑中的"沙盘"

世界模型（World Model），是具身智能系统在内部维护的一个关于环境如何运作的、可计算的、可预测的内部表征。它接收当前状态（包括机器人自己的姿态、位置、速度，以及环境的几何、物理属性、物体状态），输出对未来若干步的"想象"——也就是如果我现在执行某个动作，几秒之后世界会变成什么样。

为了让你在第一时间建立直觉，我们先来拆解一个具体的类比。

假设你是一个从未去过朋友新家的人，朋友让你"自己开门进来"之后他在书房等你。你站在玄关，闭着眼睛，往里走。会发生什么？你会做以下几件事：

1. 伸出手摸前方的墙，找门的轮廓。 2. 听见书房方向隐约的说话声，用声音定位"目标"的大致方位。 3. 在脑子里建立一份"心理地图"：前方 1.5 米处是墙，门把手在右手边 0.8 米，门后应该有一段走廊通向书房。 4. 每走一步，这个心理地图就被更新一次：墙壁的触感、温度，地面的材质，是地毯还是木地板。 5. 走到门口前，你在脑子里先推演一下：如果我现在右手前伸 0.8 米，会不会撞到门框？门是向内推的还是向外拉的？门后空间有多大？

你闭着眼睛穿行全靠"脑补"——用既有经验（家的通用结构）+ 实时感知（声音、触感、空气流动）构建一个内部模型，再用这个模型去预演下一步。这正是世界模型的工作方式。

机器人世界模型的"脑补"分三层：

第一层是状态编码。 摄像头拍到一张画面，激光雷达扫到一组点云，IMU 报告自己目前倾斜 3 度。世界模型把这些异构信号融合成一张"我现在在哪、面前有什么、自己是什么姿态"的状态向量。这一步类似你"听见说话声"+"感觉到墙壁"+"知道自己是直立还是侧身"的综合处理。

第二层是动力学预测。 给定当前状态和即将执行的动作，世界模型输出"未来 0.5 秒、未来 1 秒、未来 2 秒……世界会变成什么样"。这一步类似你"想象推门后会发生什么"。

第三层是代价评估。 把不同候选动作输入世界模型，看哪一个预测结果最"安全、最高效、最接近目标"。这一步类似你"在心里比较推门和拉门哪个更可能成功"。

三层组合起来，世界模型就成了机器人的"内心沙盘"——它不直接改变现实，但能让机器人在动手之前先在沙盘上"过一遍"。

值得一提的是，世界模型并不一定要用神经网络实现。早期机器人学里，SLAM（同步定位与地图构建） 配合刚体动力学方程，就是一种"经典世界模型"——它精确、可靠、可解释，但难以处理复杂、非结构化环境。深度学习时代，研究者开始用 VAE、Transformer、扩散模型去学习一个"端到端的世界模型"，它在复杂场景里更鲁棒，但牺牲了一些可解释性。本书会在第 6 章专门讨论这场"经典派 vs 学习派"的方法论之争。

四、感知-建模-预测-决策：本书的 15 章地图

世界模型并不是孤岛，它必须嵌入一个更大的"具身智能工作流"才能发挥作用。这个工作流可以浓缩成一条四步链路：

```mermaid flowchart LR A[感知] --> B[建模] B --> C[预测] C --> D[决策] D --> A ```

• **感知（Perception）**：把摄像头、雷达、触觉等原始信号翻译成"世界正在发生什么"。
• **建模（Modeling）**：把感知结果融合成一份可计算的内部世界状态——这就是世界模型本身。
• **预测（Prediction）**：在世界模型上推演"如果我执行动作 A，未来会怎样"。
• **决策（Decision）**：在多个预测结果中选最优动作，下发给执行器。

箭头从 D 又回到 A，因为执行完一个动作后，新一轮的感知-建模-预测-决策循环立刻启动。这就是"闭环（closed-loop）"一词的来源——机器人没有终点，它永远在和环境对话。

本书的 15 章大致沿着这条链路展开：

• **第 1-2 章**回答"为什么需要世界模型"以及"世界模型的思想起源"，从香农、维纳、罗森布拉特那一代人的脑洞讲起。
• **第 3-4 章**讲**感知**这一环：相机模型、点云融合、触觉信号、神经辐射场（NeRF）如何给机器人提供"眼睛"。
• **第 5-7 章**讲**建模**这一环：从经典的 SLAM，到基于深度学习的隐式表征，再到 2023-2024 年爆火的 Sora 类视频生成模型如何成为世界模型的新载体。
• **第 8-10 章**讲**预测**这一环：如何让模型既能快速推演又能长期稳定，以及如何处理"我不知道我不知道"的不确定性。
• **第 11-13 章**讲**决策**这一环：把世界模型接入强化学习、模型预测控制（MPC）、大语言模型规划器，让机器人真正"动起来"。
• **第 14-15 章**回到**系统层面**和**未来展望**：如何让世界模型在真实硬件上跑得动、跑得稳，以及 5-10 年后具身智能会走向何方。

读完整本书，你将能够独立搭建一个具备"内部沙盘"能力的机器人原型，并理解它每一个模块背后 70 年来的思想脉络。这不是一本只教你怎么调包的"速通手册"，而是一本帮你建立完整心智模型的"操作系统说明书"。

五、一个思维实验：闭眼穿越陌生房间

为了让"世界模型"这个抽象概念牢牢刻进你的脑子，我们来做一个稍微复杂一点的思维实验。

场景设定： 你被蒙上眼睛，送到一个你从未去过的陌生房间的入口。你需要安全地走到房间对角线位置的一把椅子前坐下。

你的大脑会自动启动以下流程：

步骤 1：先获取边界信息。 你不会一上来就大步往前走。你会先慢慢伸出双手，沿着入口的墙往两侧摸，确认"门在左还是右、墙在哪"。这一步对应机器人世界模型中的主动感知（active perception）——机器人不是被动接收摄像头画面，它会主动转头、调整视角，甚至用机械臂去"戳"一下以判断物体软硬。

步骤 2：建立初步地图。 摸了几秒之后，你心里已经有一张粗略图：左手边 2 米是墙，正前方空间较大，脚下是硬质木地板，听见空调呼呼声大概在右前方。这一步对应世界模型的状态估计（state estimation）——把所有感知碎片融合成一份内部表征。

步骤 3：规划路径。 脑子里的"小剧场"开始工作：要不要先沿着左墙走 3 米，再斜着穿过去？还是直接对角线走？两种走法的"成本"在你心里被估算：直接走省距离但可能撞到家具；沿墙走稳但远一些。这一步对应世界模型中的规划（planning）——在内部沙盘上推演不同策略。

步骤 4：执行并持续更新。 你迈出第一步，脚落地的瞬间，新信息涌进来——哦，原来这地毯是软的，而且左脚碰到了什么凸起的东西。地图立刻被更新，路径也被修正。这一步对应闭环反馈——执行结果回过头修正内部模型。

步骤 5：处理意外。 走到一半，你突然听见一声猫叫，判断有动物在附近，立刻停下脚步，重新规划绕行。这一步对应世界模型中的异常检测与安全兜底——遇到模型预测之外的状况时，必须能识别"我不知道"，并切换到保守模式。

整个过程的本质，就是你把"陌生房间"这件事装进了脑子里，然后用脑子里的版本去推演行动。这正是具身智能系统里世界模型的核心思想：先在内部复刻一个世界，再用这个复刻去预演未来。

更进一步，如果让你闭眼穿过这个房间 100 次，每次房间布局都稍微变一下，你会逐渐学会"通用经验"——遇到凸起的脚感大概率是桌腿，听到猫叫要绕，遇到地毯边缘要慢……这些经验沉淀下来，就构成了一个"经验型世界模型"。现代深度学习训练的世界模型，做的事情本质上就是这个——从大量数据中提炼一套"如果……那么……"的预测规则。

六、为什么 ChatGPT 不能直接当机器人用：一个反直觉的解释

讲到这里，可能有读者会问：现在不是有"端到端大模型"吗？把摄像头画面、关节状态、目标指令全部塞给大模型，让它直接输出电机扭矩，不就行了吗？Figure 02 看起来就是这么干的呀。

这是一个非常好的反问。我们来认真拆解一下。

第一种方案：纯语言大模型控制。把摄像头画面描述成文字（"前方 1.2 米有一张红色圆桌"），连同用户指令一起喂给大模型，让它输出"前进 0.5 米"这样的离散动作。问题在于——文字描述损失了太多空间精度。"前方 1.2 米"在文本里是一个数字，但机器人要把它转换成连续的、平滑的、抗干扰的运动，需要至少 50 维的精细控制信号，纯语言模型给不出这种"手感"。

第二种方案：多模态大模型直接控制。把视觉 token 化，连同触觉、IMU 等所有信号一起塞给大模型，让它直接输出动作。这种方案听起来很美，实际跑起来有三个硬伤。

• **训练数据稀缺的硬伤**。互联网上的图文语料有几十万亿 token，但"机器人动作-结果"这种具身数据全球加起来可能只有几百万条。数据规模差了好几个数量级，硬塞大模型只能"过拟合到训练场景"。
• **实时性的硬伤**。一个千亿参数的大模型，在 A100 上推理一次要 200 毫秒，机器人要求 50 毫秒闭环。模型越大，反应越慢，越危险。
• **幻觉成本的硬伤**。大模型会"胡说八道"，在文字世界这是软错误，在物理世界这是硬错误。模型可能因为某个训练数据里没见过的视觉模式，输出一个"飘了"的动作指令，把旁边的人扇一巴掌。

那 Figure 02 是怎么"看起来"像端到端的？答案是：它表面端到端，底层分层。视频里我们看到机器人流畅地端起咖啡递给顾客，但内部其实是分层架构——底层是经典的控制回路（PID、阻抗控制）保证 1kHz 的关节稳定；中层是世界模型在做短期预测（接下来 0.5 秒杯子会不会滑）；上层才是大语言模型在做任务级理解（"用户要热美式"）。世界模型是大模型和物理世界之间的"翻译官"，也是"安全垫"。没有这个翻译官，大模型就只是一个没有手脚的聪明人；有了这个翻译官，机器人才能既"听得懂"又"做得到"。

这也是为什么 OpenAI、DeepMind、Google DeepMind、Figure、Tesla Optimus 团队在过去两年不约而同地押注"世界模型 + 大模型"的双层架构——纯粹依赖大模型做端到端控制，在 2024-2025 年的硬件条件下，既不安全也不可行。世界模型承担了"在物理后果发生之前进行推演"这个最关键、也最难替代的角色。

七、世界模型的"沙盘推演"：一个具体的运行例子

为了让"世界模型在做什么"这件事变得具体，我们用一个最简单的桌面抓取场景，把世界模型的一次完整调用讲清楚。

场景： 机器人面前有一张桌子，桌上有红色方块和蓝色方块，机械臂要抓起红色方块。

Step 0：初始化。 系统启动时，世界模型从零状态开始。第一次摄像头画面进来后，模型先做"自监督预热"：用 1-2 秒的随机微动观察，建立桌面的 3D 几何、识别两个色块的位置、估计自身的基座姿态。这一步类似你"刚蒙眼进屋"时先用双手摸边界。

Step 1：当前状态编码。 此时世界模型内部有一个状态向量 $s_t$：

• 红色方块位置：(0.42, -0.10, 0.02)，置信度 0.96
• 蓝色方块位置：(0.48, 0.15, 0.02)，置信度 0.93
• 自身末端位置：(0.30, 0.00, 0.30)
• 抓取成功率历史：红色方块 0.87，蓝色方块 0.91

Step 2：候选动作生成。 决策模块生成三个候选动作：

• 动作 A：末端直线运动到 (0.42, -0.10, 0.05)，垂直下抓
• 动作 B：先抬起到 0.45 高度再斜下，避免碰到蓝色方块
• 动作 C：使用侧面抓取

Step 3：世界模型并行推演。 三个动作分别被送进世界模型，得到未来 0.5 秒、1 秒、1.5 秒的预测：

• 动作 A 预测：0.5 秒后末端到达目标上方，但末端轨迹会从蓝色方块 5cm 处擦过，有 8% 概率碰翻
• 动作 B 预测：1.2 秒后到达，路径完全避开蓝色方块，无碰撞风险
• 动作 C 预测：1.5 秒后到达，但因方块较厚，侧面抓取成功率仅 0.62

Step 4：代价评估。 综合"成功率 × 时间成本 × 安全裕度"，动作 B 得分最高，被选中下发。

Step 5：执行 + 更新。 动作 B 执行 0.3 秒后，摄像头回报新画面：末端确实抬起了，蓝色方块没被碰。世界模型用这次"实测数据"对自己的预测结果做了一次隐式校验——预测准确，下次类似场景可以更信任。

整个过程在 200 毫秒内完成。这 200 毫秒里，世界模型做了：

• 1 次状态融合
• 3 次动力学推演
• 1 次代价评估
• 1 次闭环校正

这就是"沙盘推演"在机器人内部的真实模样。 它不是"想一想"，而是一组高速的、可量化的、可优化的数学运算。但它的精神内核——"在动手之前先在脑子里过一遍"——和我们闭眼穿陌生房间的直觉完全一致。

八、世界模型的三个常见误解

在结束本章之前，我们澄清几个对世界模型的常见误解，避免后续阅读时被它们绊住。

误解一："世界模型就是 3D 地图。" 不完全是。3D 地图（点云、占据网格、NeRF）只是世界模型的"几何骨架"。一个完整的世界模型还要包含物理动力学（推一下会怎样倒）、物体属性（这个杯子是塑料还是玻璃）、因果关系（按这个按钮咖啡机会出水）、其他智能体的行为（这个人在做什么、下一步可能做什么）。把世界模型等同于 3D 地图，是把"房间的图纸"等同于"对房间的全部理解"。

误解二："世界模型越准越好。" 这话听起来对，但在工程上是个陷阱。世界模型的精度与计算成本强相关——一个像素级精度的预测模型，可能需要 10 亿参数、200 毫秒推演时间；一个粗粒度但能 5 毫秒跑完的模型，反而能让机器人反应更快。**真正有用的世界