从'看图说话'到'动手做事'：具身智能的崛起

第 1 章 从"看图说话"到"动手做事"：具身智能的崛起

2024 年 1 月，旧金山一家初创公司 Figure AI 在社交媒体上发布了一段 19 秒的视频。视频里，一个黄黑相间的人形机器人站在一张金属桌前，面前摆着一颗苹果。它伸出带有五根手指的机械手，准确地将苹果推给对面的人类。整个过程没有预设脚本，没有远程操控，机器人是依据面前场景"自己决定"做这件事的。这段视频在 72 小时内被播放超过 1 亿次，背后的原因并非技术本身有多么成熟——事实上这个动作的成功率还远没有达到工业级——而是它击中了一个被谈论了几十年却始终悬而未决的问题：人工智能能不能真正"动手做事"？

仅仅十几天后，OpenAI 联合创始人 Greg Brockman 在达沃斯论坛上回答了记者关于"GPT-5 之后是什么"的提问。他的回答是："是能使用工具、能在物理世界中行动的模型。"几乎同一时间，特斯拉在投资者大会上展示了 Optimus 人形机器人在工厂里分拣电池的视频。波士顿动力则发布了 Atlas 的全新版本，其液压驱动系统被替换为纯电驱动，并配备了可旋转的头部与可对向开合的机械手。

三个不同公司，三种不同路线，在同一个时间窗口里指向同一个方向——具身智能（Embodied AI / Embodied Intelligence）。本章要回答的核心问题非常朴素却极其关键：为什么 AI 必须拥有"身体"？它和我们已经熟悉的大语言模型、图像识别系统到底有什么本质区别？

1.1 大模型的"能"与"不能"：为什么"看图说话"还不够

要理解具身智能为什么会出现，必须先理解当下主导人工智能领域的大模型范式遇到了什么天花板。

1.1.1 符号 AI、深度学习到大模型的三次跃迁

人工智能在过去七十年里经历了三次明显的范式跃迁。

第一次跃迁发生在 1956 年到 1980 年代中期，以达特茅斯会议为起点，核心思想是"智能即符号操作"。研究者相信，只要把世界的知识用一阶谓词逻辑、产生式规则、语义网络等符号化表示，配上推理引擎，就能让机器表现出智能。这一波浪潮的代表成果是 1968 年的 SHRDLU 程序，它能在一个虚拟的积木世界里回答复杂问题，例如"把红色立方体放在某个大立方体上面"。然而这一路线很快暴露了根本性的脆弱性：它严重依赖人工构建的"知识库"，一旦进入开放、模糊、连续的真实世界，规则的组合爆炸和常识缺失会让系统立刻崩溃。

第二次跃迁发生在 1980 年代末到 2012 年，核心思想是"智能即从数据中学习模式"。反向传播算法的实用化、支持向量机的兴起、决策树的成熟，把研究焦点从"如何显式表示知识"转向"如何让参数自动拟合数据"。这一阶段仍然受制于特征工程的瓶颈——算法的效果取决于人类手工设计的数据表征。

第三次跃迁发生在 2012 年至今，核心是深度学习。AlexNet 在 ImageNet 图像识别竞赛中将错误率从 26% 降到 15%，开启了深度卷积网络的爆发。2017 年 Google 团队提出 Transformer 架构，2018 年 BERT 和 GPT-1 相继问世，2020 年 GPT-3 以 1750 亿参数的规模证明了大语言模型在零样本与少样本任务上的惊人能力。2022 年底 ChatGPT 发布，引爆了生成式 AI 浪潮。

1.1.2 大语言模型的辉煌：跨越文本边界的多模态能力

到 2024 年中，主流大语言模型已经不再局限于文本。GPT-4V、Gemini 1.5、Claude 3、Qwen-VL、InternVL 等模型都能同时处理图像、视频、音频，并输出文字。它们的"看图说话"能力已经接近人类水平——给一张图，它能描述细节；给一段视频，它能总结事件；给一份发票，它能提取字段。

但这里需要非常仔细地区分两个能力："理解一个场景"和"在一个场景里行动"。

理解一个场景，本质是从感知数据中提取语义信息——识别物体、估计距离、理解关系、推断意图。这是一个从"低维信号"到"高维概念"的映射过程，深度学习正是其王者。

而在一个场景里行动，本质是从"高维目标"到"低维控制信号"的逆过程——"把苹果推给对面的人"这句话需要被分解为肩关节旋转角度、肘关节伸展时机、腕部俯仰角、手指接触力、释放时序等一系列连续动作。这要求智能体能够预测自己行动的结果，并根据预测的偏差实时调整。

1.1.3 "看图说话"为什么不够：三个本质缺陷

第一个缺陷叫"离身性"（disembodiment）。大模型在训练时接触的全部是"被观察的数据"——图片、视频、文字——而不是它自己产生的行为后果。它从未拿起过一颗苹果，因此对"拿起"这件事的理解是高度抽象的、近乎字典式的。你问 GPT-4V"一个苹果从桌上掉下来会怎样"，它能正确回答"会掉到地上"；但你让它指挥机械手去接住那个苹果，它没有关于"下落速度"、"手掌倾斜角度"、"接触瞬间力反馈"的物理直觉。

第二个缺陷叫"被动感知"（passive perception）。在训练阶段，模型看到的图像和视频是由人类摄影师、监控摄像头、机器人遥操作采集的，拍摄视角、采样频率、传感器配置都是固定的。模型学到的是"这个世界的某个切片"，而不是"我通过移动自己的身体而看到的世界"。这正是认知科学家 J. J. Gibson 所说的"可供性（affordance）"的缺失——一个杯子对我而言不仅是"圆柱体+把手"，更是"可抓握"、"可盛水"、"可投掷"。

第三个缺陷叫"无法实验"（no experimentation）。大模型不能通过干预世界来检验假设。它对物理规律的理解完全来自被动统计，没有"我把球向上抛，它会落下来"的第一手经验。而儿童，哪怕是婴儿，都在通过反复实验构建着物理直觉——把勺子从高脚椅上推下去，看它怎么落地；积木搭得太高，看它什么时候塌；水杯倾斜不同角度，看水什么时候流出。这种主动实验恰恰是物理常识最可靠的来源。

把三个缺陷合起来，我们可以得出一个清晰的判断：大模型是"读世界的人"，具身智能体是"在世界里活着的人"。前者擅长解释已经发生的事，后者需要去决定并执行尚未发生的事。这两种能力的底层要求是不同的：前者可以容忍一定程度的"想当然"，后者必须对物理因果有高精度预测，否则动作就失败。

1.2 具身智能：给 AI 一个"身体"

那么，到底什么是具身智能？

1.2.1 概念溯源：从哲学到机器人学

"具身"（embodied）这个概念在 1990 年代被正式引入人工智能研究，但它的思想根源可以追溯到 1950 年代的控制论和现象学。海德格尔在《存在与时间》中提出"在世存在"（Being-in-the-world），梅洛-庞蒂在《知觉现象学》中系统阐述了"身体是我们拥有世界的一般方式"。他们反对笛卡尔式的二元论——把心灵和身体看作两个独立实体——主张认知不是大脑内部封闭的符号运算，而是身体与环境的持续交互。

1986 年，机器人学家 Rodney Brooks 发表了一篇里程碑式的论文《没有表示的智能》（Intelligence Without Representation），主张智能不需要在内部建立完整的世界模型，而是可以通过"感知-行动"回路直接生成行为。1991 年他设计的 Genghis 机器人用六条简单的腿在没有中央控制的情况下穿越了不平整的地面。1999 年，哲学家 Andy Clark 在《Being There》一书中把这种思路总结为"扩展心智"（extended mind）——认知过程不只发生在大脑里，也发生在身体、工具和环境构成的耦合系统中。

2010 年代之后，随着深度学习、强化学习、SLAM、3D 视觉等技术的成熟，"具身人工智能"（Embodied AI）作为一个独立子领域开始形成。2023 年后，由于大语言模型与世界模型的进展，这个领域进入爆发期。

1.2.2 形式化定义与四个核心要素

我们给具身智能下一个操作性的定义：具身智能是智能体通过其物理身体（或虚拟但具有物理一致性的身体）的传感器持续感知环境，并由执行器在环境中产生作用，通过闭环反馈持续学习，以达成目标的能力。

这个定义里有四个不可或缺的要素，缺一个就不能称为具身智能。

第一个要素：感知（Perception）。智能体必须能够获取关于环境和自己状态的多模态信息。视觉、触觉、力觉、听觉、本体感觉（关节角度、加速度）都是感知的来源。感知不是简单的"拍一张照片"，而是对自身嵌入环境的方式的连续理解——我在哪里、周围有什么、它们在干什么、接下来可能发生什么。

第二个要素：行动（Action）。智能体必须能够对环境施加作用。在真实机器人上，行动表现为电机扭矩、气压、液压；在虚拟环境中，行动表现为刚体施加的力或力矩。行动的关键特征是它会改变后续感知——你伸手去拿杯子，会遮住视线；你推门，门会改变位置。智能体必须意识到这一点。

第三个要素：记忆（Memory）。包括工作记忆（短时任务上下文）、情节记忆（过去经历的事件）、语义记忆（关于世界的稳定知识）。一个具身智能体在工厂里分拣零件时，需要记得"我刚把红色零件放到左边格子"——这种短时记忆对完成多步任务至关重要。

第四个要素：学习（Learning）。智能体必须能够从经验中改进策略。学习可以发生在多个时间尺度：毫秒级的运动控制自适应、秒级的策略调整、小时级的技能习得、乃至跨任务的技能复用。

1.2.3 与传统 AI 的本质区别

| 维度 | 传统 AI（大模型/视觉系统） | 具身智能 | |------|------------------------|---------| | 输入 | 静态数据（图片、文本） | 连续、时序、由自身行动塑造的感知流 | | 输出 | 文本/标签/分类 | 对物理世界的连续作用力 | | 与环境关系 | 观察者 | 参与者与改造者 | | 因果理解 | 统计相关 | 干预与反事实 | | 知识获取 | 被动接受人类标注 | 主动探索 + 与环境交互 | | 评估标准 | 准确率、BLEU、人类偏好 | 任务成功率、效率、鲁棒性 | | 失败代价 | 答错一句话 | 损坏物品、伤害人 |

这张对比表揭示了一个核心差异：传统 AI 是一个"封闭在盒子里的推理者"，而具身智能是一个"在世界里的行动者"。两者的研究方法、评估指标、失败模式都截然不同。

1.3 莫拉维克悖论：为什么"动手"比"思考"更难

理解了具身智能的定义后，一个看似矛盾的现象会立刻浮现：让 AI 写一首诗、证明一个数学定理、下赢世界冠军棋手，这些"高级认知"任务，AI 已经做得比绝大多数人好；然而让 AI 把桌子上的水杯端起来、让机器人跨过一个 5 厘米的台阶、在拥挤的人群中安全地走过去——这些"低级动作"任务，AI 至今仍然困难重重。

1.3.1 悖论的提出与含义

这个现象最早由奥地利裔加拿大认知科学家汉斯·莫拉维克（Hans Moravec）在 1988 年明确指出，他在《智力后裔》（Mind Children）一书中写道：

> "让计算机在智力测试或国际象棋上表现出成人水平相对容易，而让它在感知和移动方面达到一岁孩子的能力却极其困难，甚至不可能。"

这就是著名的莫拉维克悖论（Moravec's Paradox）。

为什么会出现这种悖论？核心原因是进化时间的不对称。推理、语言、抽象思维这些"高级认知"是人类近期（约 7 万年至 5 万年前）才发展出来的能力，是大脑皮层特别是前额叶的产物，结构上较为模块化，相对独立。而感知运动、空间导航、物体操作这些"低级能力"是进化经过数亿年优化的产物——昆虫的避障、哺乳类的抓握、灵长类的三维攀爬——它们被深深写进了小脑、基底节、脊髓回路中，分布在整个身体的神经、肌肉、骨骼中，是经过自然选择千锤百炼的"工程奇迹"。

要让 AI 复制抽象推理，只需几千 GPU 小时的训练；要让 AI 复制一个婴儿伸手抓物的能力，需要数百万次物理交互、对接触力学的精确建模、对高维连续控制的稳定优化。这就是为什么 2024 年最强大模型可以考过律师资格考试，却仍然不能保证让一个双臂机器人在杂乱的家庭环境中成功收拾餐桌。

1.3.2 悖论对具身智能研究的指导意义

莫拉维克悖论给具身智能研究者两个重要启示。

第一，不要试图跳过物理层。 很多团队最初尝试用纯大模型做具身任务——给模型看相机图像，让它直接输出"机械手关节角度"。这种端到端的方法在仿真里能跑出 70% 的成功率，但放到真实机器人上立刻崩溃。原因是模型对物理动力学的建模精度不够，它不知道"把手指伸进杯子和杯底接触"时力会突变。真正可用的系统必须在数据驱动和物理先验之间取得平衡。

第二，硬件与算法必须协同进化。 莫拉维克悖论意味着我们不能等到算法完美了再去造硬件——硬件的能力边界直接决定了算法能否落地。这也是为什么 2023 年之后具身智能领域出现了一个显著变化：硬件公司（Figure、1X、Apptronik、宇树、智元、傅利叶）和算法公司的边界开始模糊。Figure 的创始人 Brett Adcock 公开表示："我们不打算等待完美的算法。"

1.3.3 走出悖论：内化物理直觉

要真正缓解莫拉维克悖论，AI 系统必须内化物理直觉——也就是发展出对重力、惯性、摩擦、碰撞、变形等基本物理现象的预测能力。这种预测能力正是世界模型（World Model）的核心任务，也是本书后面章节要深入讨论的主题。

一个拥有世界模型的具身智能体可以这样工作：它想伸手抓杯子时，先在"内心"模拟这个动作——手会沿什么轨迹移动、何时接触杯子、接触力有多大、杯子会不会被撞倒——然后根据模拟结果调整动作参数。Google DeepMind 在 2023 年发布的 RT-2 系统已经展示了这种能力的雏形：通过将机器人动作视为"另一种语言"，让视觉-语言-动作大模型具备了对物理动作的初步直觉。

1.4 从感知运动循环到具身认知：理论框架

具身智能不是单一算法，而是一个由多个相互耦合的子系统构成的认知架构。要理解它的运作方式，需要引入几个理论框架。

1.4.1 感知运动循环：智能的最小单元

最基础的框架是感知运动循环（sensorimotor loop），它描述了智能体与环境之间最简单也最本质的交互模式：

``` 感知 (Perception) → 决策 (Decision) → 行动 (Action) → 环境变化 (World Change) → 新的感知 (New Perception) → ... ```

这个循环每秒钟可以重复几十到几百次。神经科学家发现，即使是果蝇这样的低等生物，其避障行为也涉及一个完整的感知运动循环；而人类伸手抓取物体这样一个动作，背后涉及的运动规划、皮层-小脑协同、感觉反馈整合，是一个高度复杂的感知运动循环实例。

感知运动循环的核心思想是：智能不一定要先建立完整的世界表征再行动，而是可以在循环中涌现。这就是 Brooks 提出的"包容架构"（subsumption architecture）的精髓——把多个简单的感知运动回路堆叠起来，让高层回路抑制或调用低层回路，就能产生看起来很复杂的行为，而不需要中央世界模型。

但单纯的感知运动循环有其局限：它难以处理需要长期规划、多步推理、抽象概念的任务。一个机器人如果只会"看到障碍物就绕开"，它无法完成"把厨房台面上的所有红色物品移到客厅桌子上"这样的任务，因为它没有"记住"哪些物品已经移动过、没有"分类"和"目标"这种抽象能力。

1.4.2 具身认知：身体是认知的一部分

具身认知（Embodied Cognition）是认知科学的一个流派，主张认知过程是被身体（包括感觉器官、运动系统、身体图式）塑造和限制的。代表性观点包括：

• **概念隐喻理论**（Lakoff & Johnson, 1980）：我们对"重要"的理解（"重大"、"核心"）是建立在"重"、"中心"等身体经验上的。
• **4E 认知**：认知是具身的（Embodied）、嵌入的（Embedded）、延展的（Extended）、生成的（Enactive）。
• **感知符号理论**（Barsalou, 1999）：概念表征不是抽象符号，而是"模拟"——当我们想"苹果"时，会重新激活与苹果相关的感知、运动、情感经验。

这些理论对具身智能的工程实践有重要影响：智能体的"概念"应该是扎根于感知运动的——它对"杯子"的理解应该包括视觉特征、触觉特征、操作动作，而不仅仅是 "cup" 这个词向量。

1.4.3 三层架构：从反应到反思

结合感知运动循环和具身认知思想，我们可以勾勒出具身智能系统的典型三层架构。

第 0 层：反应层（Reactive Layer）。毫秒级响应，处理紧急情况和基础反射。例如"手指碰到硬物立即停止"、"检测到人脸立即减速"。这一层通常用经典控制（PID、阻抗控制）或者小型神经网络实现，强调实时性。

第 1 层：技能层（Skill Layer）。秒到分钟级，执行具体的运动技能，例如"抓取"、"放置"、"开门"、"推车"。这一层通常采用模仿学习或强化学习训练得到的策略网络，输出连续控制信号。

第 2 层：规划层（Planning Layer）。分钟到小时级，处理任务分解、目标推理、长期决策。例如"去厨房拿杯子"会被分解为"导航到厨房 → 找到杯子 → 抓取 → 返回"。这一层在 2023 年之后越来越多地由大语言模型或视觉-语言模型承担。

三层之间通过世界模型耦合。规划层生成的高层目标经过世界模型推演后，会变成技能层的具体参数；技能层执行过程中遇到的异常又会通过世界模型预测反馈给规划层。世界模型是整个架构的"大脑模拟器"——这是后续章节的核心议题。

1.5 产业前沿案例：Atlas、Optimus、Figure 02 的技术路线对比

理论框架只是基础，真正让具身智能成为显学的，是 2023-2024 年三家代表性公司的工程突破。我们逐一拆解。

1.5.1 波士顿动力 Atlas：从研究奇迹到商业现实

波士顿动力（Boston Dynamics）成立于 1992 年，是 MIT 衍生公司，其人形机器人 Atlas 历经多代演进，2024 年 4 月发布的"全电动 Atlas"是当前最具代表性的工程成就之一。

技术规格。身高约 1.5 米，体重约 80 公斤，28 个自由度（不含手指），全身关节采用定制化力矩电机 + 谐波减速器，最大关节扭矩可达数百牛·米。配备多对立体相机、深度相机、LiDAR，本体感受采用高精度 IMU 和关节编码器。

核心能力。Atlas 最令人印象深刻的是其动态运动能力——后空翻、跑酷、跨越复杂地形、单足站立保持平衡。这些能力的底层是波士顿动