具身智能导论：从符号主义到物理交互

具身智能导论：从符号主义到物理交互

1.1 一个被反复追问的问题：智能是否可以脱离身体而存在

1956 年夏天，达特茅斯学院聚集了一批数学家、心理学家和工程师，他们试图用一场为期两个月的研讨来回答一个问题：能否让机器模拟人类学习的每一个方面，从而真正实现人工智能？这次会议奠定了人工智能作为独立学科的根基，也确立了此后近三十年主导学界的研究范式——只要给计算机足够多的形式化规则和符号，它就应当能够"思考"。在那个年代，"智能"被视为一种脱离肉身的抽象计算过程；身体，只是承载推理引擎的载体，甚至是可以被忽略的附属品。

然而，当研究者们雄心勃勃地尝试让机器理解自然语言、证明数学定理、规划复杂任务时，一个尴尬的现实逐渐显现：那些在符号世界中被证明为可计算的难题，一旦回到真实的物理世界，便迅速暴露出脆弱与笨拙。一个能在国际象棋中击败世界冠军的程序，无法识别一张照片里的猫；一个能证明复杂数学定理的系统，无法把桌上的杯子端起来放到水池里；一个能在标准数据集上达到 95% 准确率的视觉分类模型，在光线稍微变化的真实场景中便会频繁失效。这种"实验室中的巨人、现实世界里的矮子"之间的巨大鸿沟，促使研究者重新审视一个古老的命题：智能，是否本质上就是一种身体与环境的交互活动？

这一追问并非新鲜事物。早在 20 世纪 40 年代，控制论的创始人诺伯特·维纳就已经指出，智能行为来自感知、计算与行动之间的反馈回路；到了 80 年代，罗德尼·布鲁克斯在麻省理工学院提出"包容架构"，主张智能体应当通过与物理世界的直接交互来产生行为，而不是依赖于内部的世界符号表示；90 年代，认知科学家弗朗西斯科·瓦雷拉、埃文·汤普森等人系统地提出了"具身认知"（embodied cognition）的理论框架，认为认知过程根植于身体的物理属性、运动经验以及与环境持续不断的耦合之中。这些思想虽然从未成为主流，但在过去十年中随着深度强化学习、机器人硬件以及大规模预训练模型的飞速发展，重新焕发出强大的生命力。

2022 年以来，具身智能（embodied intelligence）从一个相对小众的研究议题，迅速跃升为人工智能领域最受关注的方向之一。无论是人形机器人 Figure 01 在 OpenAI 大模型的加持下完成复杂家务的视频，还是特斯拉 Optimus 在工厂中搬运零件的演示，亦或是 Waymo 无人车在美国复杂城区街道上行驶的报告，都指向同一个核心判断：要让 AI 从数字世界走向物理世界，从"会想"走向"会做"，必须让它拥有某种意义上的"身体"，并能持续地感知、预测、决策、行动。本书正是围绕这一判断展开：我们将以"世界模型"为核心线索，系统讨论具身智能体如何在物理世界中构建对环境的内在表征、如何基于这种表征进行推理和规划、如何把推理结果转化为连续可靠的物理动作，并最终实现从感知到行动的完整闭环。

1.2 人工智能的三次范式转变与具身认知的崛起

人工智能六十余年的发展史，并不是一条平直的上升曲线，而更像是一段在乐观与失望之间反复摆动的历程。理解这条曲线的摆动方式，是把握具身智能兴起动因的关键。下面我们沿着"符号主义—连接主义—具身认知"三个阶段，依次梳理其核心主张、典型成就与根本局限。

1.2.1 符号主义：从规则到专家系统

符号主义（symbolicism），又称 GOFAI（Good Old-Fashioned Artificial Intelligence），是人工智能的第一个主流范式。其核心信念可以概括为一句话：智能的本质是对符号的操作，而符号操作可以脱离任何具体的物理载体。研究者认为，只要把人类专家的知识抽象为"如果—那么"形式的产生式规则，再配合一种高效的搜索算法，机器就能够在特定领域表现出不亚于专家的能力。这一信念推动了 1960 至 1980 年代专家系统的蓬勃发展，例如 MYCIN 医学诊断系统、DENDRAL 化学结构推断系统以及 XCON 计算机配置系统，它们在受限领域内确实达到了令人瞩目的实用水平。

然而，符号主义的根本问题在于"知识获取瓶颈"与"脆弱性"两大困境。一方面，真实世界中的知识是无限且模糊的，仅凭手工编写的规则根本无法覆盖长尾情况；另一方面，符号系统对输入数据的噪声极为敏感，图像、语音、文本中任何微小的歧义都可能让一条精心设计的推理链崩溃。更深层的局限在于，符号主义把"身体"完全抽象掉了：当系统面对一杯水时，它知道"水是一种液体，可以倒入其他容器"，但它从未体验过"水是凉的、滑的、容易洒出的"，因此它的"理解"从根本上是不完整的。

1.2.2 连接主义：从感知到模式识别

20 世纪 80 年代以来，以人工神经网络为代表的连接主义（connectionism）逐步复兴，并在 2012 年 ImageNet 竞赛中凭借 AlexNet 一举夺魁后进入爆发期。与符号主义不同，连接主义强调智能应从大量数据中自动涌现，而非由人类显式编写。深度学习的成功有目共睹：在图像识别、语音识别、机器翻译、内容生成等任务上，神经网络的表现远远超越了基于规则的方法；以 Transformer 架构为基础的大语言模型甚至展现出了一定的"通用推理"能力，能够在标准考试中达到或超过人类平均水平。

但是，当我们将目光从数字世界转向物理世界时，连接主义的局限同样清晰可见。首先，数据驱动的方法对样本分布高度依赖；一旦部署环境与训练数据存在显著差异（即分布外泛化问题），模型的性能便可能急剧下降，这在安全攸关的机器人系统中是难以接受的。其次，深度模型缺乏对物理因果与时空动态的显式建模，它们能够识别出"这是猫"，却很难可靠地回答"如果我把杯子向前推，它会不会倒"。最后，也是最关键的一点：连接主义本身并不天然包含"行动"维度，它本质上仍然是一个静态的函数逼近器，而非一个持续与物理世界交互的智能体。

1.2.3 具身认知：当智能遇见物理世界

具身认知（embodied cognition）并不是对符号主义或连接主义的简单否定，而是一种视角的根本转换。它主张，认知过程是大脑、身体和环境三者耦合的产物；意义不存储于孤立的符号或权重中，而是在感知与行动的循环中持续生成。这一思想可以追溯到海德格尔对"上手状态"的现象学分析、梅洛-庞蒂对身体作为认知主体的现象学论述，并在 90 年代被瓦雷拉等人系统化为"感知—行动循环"理论。

进入 21 世纪后，具身认知得到了工程层面的有力支撑：随着传感器、驱动器、计算硬件成本的下降，以及强化学习、模仿学习、扩散模型等算法的成熟，研究者终于拥有了把"身体"重新请回 AI 研究的物质条件。DeepMind 在 2020 年代先后发布的 Agent57、RoboCat、RT-2 等工作表明，当一个模型同时具备语言理解、视觉感知和物理交互能力时，其在开放任务上的表现会显著优于只处理数字信息的纯虚拟智能体。这并不是说数字智能不重要，而是说——对于需要在物理世界中完成任务的系统而言，"身体"和"环境"是不可省略的组成部分。

需要强调的是，具身认知并不意味着抛弃符号和神经网络。它主张的是一种整合的视角：符号为高层推理提供支架，神经网络为低层感知提供基础，而真正让智能涌现的，是它们在与物理世界的实时耦合中共同形成的能力。这一观点为接下来的"具身智能"研究提供了坚实的理论基础。

1.3 具身智能的定义、研究范畴与典型应用场景

在厘清历史脉络之后，我们有必要给出"具身智能"这一术语的清晰定义，并明确本书所讨论的研究范畴。需要说明的是，由于这是一个仍在快速演化的领域，不同研究者的定义略有差异，但核心共识是稳定的。

1.3.1 何谓具身智能

具身智能指的是具备物理实体（如机械臂、移动底盘、人形机器人、无人车等），能够通过多模态传感器持续感知环境状态，并通过决策与控制算法在物理世界中执行连续动作以完成长期任务的智能系统。它具备三个不可分割的特征：第一，拥有可与物理世界发生作用的身体，即执行器（actuator）；第二，能够持续感知环境的多模态信号，即感知通道（perception channel）；第三，具备基于目标进行推理、规划与决策的能力，即认知层（cognitive layer）。

这三个特征共同构成了具身智能区别于传统 AI 的本质：传统 AI 主要处理封闭、静态、可枚举的数字任务，例如图像分类、文本翻译、棋类博弈；而具身智能必须处理开放、动态、不可穷举的物理任务，例如在陌生楼房里找出一把钥匙、把热汤从厨房端到餐桌而不要洒出、避开突然横穿马路的行人。这些任务的共同特点是：智能体必须能够预测动作的长期后果、处理感知的不确定性，并在不确定中做出安全的决策。

1.3.2 研究范畴的四层结构

为了便于读者把握具身智能的整体版图，我们把它的研究范畴划分为四个层次，每一层都对应着不同的科学问题与工程挑战。

第一层是硬件与执行层，关注的是身体本身的设计，包括驱动器选型、传感器布局、能源管理、动力学建模等问题。它属于机器人学的传统领域，但近年来与新材料、软体机器人、灵巧手等方向深度融合，对上层算法提出了新的可能性与约束。

第二层是感知层，关注的是如何把来自摄像头、激光雷达、触觉传感器、麦克风等设备的原始信号，转化为对环境状态的结构化理解。这一层的核心挑战是噪声、遮挡、视角变化以及跨模态对齐。深度学习提供了强有力的工具，但如何让感知结果具备物理一致性与时序连续性，仍是开放问题。

第三层是认知与决策层，也是本书讨论的核心。它关注的是：智能体如何基于感知信息构建对世界的内部表示（即"世界模型"），如何基于该模型进行长时序推理与规划，如何在多目标、多约束的场景下做出鲁棒决策。这一层的关键难点在于不确定性下的推断、样本效率以及安全约束。

第四层是学习与适应层，关注的是智能体如何通过与环境的持续交互来改进自身策略。强化学习、模仿学习、自监督学习是该层的主要工具。近年来，把大规模预训练模型与机器人交互数据相结合的研究范式（如 RT-2、π0、OpenVLA 等）正在重塑这一层的面貌。

1.3.3 三类典型应用场景

为了使读者对具身智能的研究范畴有更具象的理解，下面介绍三类典型应用场景，它们也是当前学术界与产业界投入最为集中的方向。

自动驾驶是具身智能最具代表性的应用之一。自动驾驶车辆需要在复杂的城市交通中感知周围车辆、行人和信号灯的状态，预测其他交通参与者的意图，规划从起点到终点的路径，并通过线控系统精确控制方向盘、油门和刹车。它几乎涵盖了具身智能的全部挑战：复杂感知、长期预测、安全关键决策以及严格的实时性要求。本书将在后续章节中以自动驾驶为重要案例，详细讨论世界模型如何赋能预测与决策。

家庭服务机器人是另一类极具想象空间的应用。家庭环境与工厂环境截然不同，它高度非结构化、长尾物体众多、用户期望多元。一台合格的家庭服务机器人需要能够听懂自然语言指令、理解物体功能、规划操作步骤、安全地在人类活动空间中穿行并完成拿取、放置、清洁、递送等任务。这一场景对世界模型的语义层级与因果推理能力提出了极高要求。

工业与特种作业机器人则是相对成熟的领域，其特点是任务重复度高、环境可控性强。但即便如此，新一代的工业机器人正朝着柔性制造与人机协作的方向演进，需要处理更复杂的感知与决策问题。核电站检修、深海探测、灾难救援等特种作业场景，则把具身智能推向了极限环境，对鲁棒性、自主性与多智能体协作提出了严峻考验。

1.4 世界模型在感知—决策闭环中的核心地位

在具身智能的认知与决策层中，"世界模型"（world model）是一个被反复提及却常常被笼统使用的概念。为了避免后续讨论中的歧义，本节给出一个清晰的功能性定义，并阐明它在感知—决策闭环中所扮演的角色。

1.4.1 世界模型的功能性定义

世界模型可以理解为智能体内部对外部物理世界运行规律的一种可计算的、可推演的状态表示与动态映射。更具体地说，它由两个核心组件构成：第一，状态编码器，负责把来自感知层的原始多模态信号压缩为某种紧凑的、保留物理相关信息的隐变量表示；第二，转移函数，负责根据智能体的候选动作，预测环境状态在未来若干时间步内的演化轨迹。世界模型不一定是端到端的神经网络，它可以是一个显式的物理引擎，也可以是两者的混合体——这种灵活性恰恰是其强大之处。

世界模型与人们熟知的"环境模型"或"模拟器"有相似之处，但关键区别在于：世界模型是嵌入在智能体内部、为决策服务的认知构件，而不仅仅是一个外部工具。它需要满足三项约束：一是可微或可推演，即必须支持高效的反向传播或前向搜索；二是计算高效，即在决策的时间预算内能够完成多次推演；三是与感知对齐，即其状态空间与真实环境之间存在可靠的对应关系。

1.4.2 感知—建模—决策—行动闭环

为了直观地展示世界模型在具身智能中的位置，我们把整个系统抽象为一个四阶段的闭环结构，如下图所示。

```mermaid flowchart LR A[感知 Perception] --> B[世界模型 World Model] B --> C[决策 Decision] C --> D[行动 Action] D --> E[物理环境 Physical Environment] E --> A ```

在这个闭环中，感知模块负责采集并预处理来自传感器的时间序列数据；世界模型在隐空间中更新对环境状态的估计，并基于候选动作预测未来状态；决策模块结合任务目标、安全约束与不确定性度量，从候选动作中选取最优动作；行动模块把决策结果转换为执行器指令，由物理身体施加于真实环境；环境的演化结果再被感知模块捕获，进入下一个循环。

世界模型之所以处于这个闭环的核心，是因为它同时承担了三项不可替代的功能。第一，它是短期记忆的载体：在没有显式数据库的情况下，世界模型通过对历史观测的隐空间压缩，使智能体拥有跨越多个时间步的上下文。第二，它是反事实推理的引擎：通过把候选动作作为输入、推演未来轨迹，世界模型使智能体能够回答"如果我这样做，会发生什么"这一关键问题。第三，它是长期规划的支撑：当任务需要跨越数十甚至数百步动作时，决策模块必须在世界模型所形成的"想象空间"中进行树搜索或蒙特卡洛推演，才能避免短视决策。

1.4.3 为什么世界模型不是可有可无的

一些读者可能会问：既然大语言模型已经展现出强大的推理能力，为什么不直接让大模型从感知信号映射到动作指令？这一问法实际上回避了一个根本的物理事实——真实世界是不确定性主导的。当传感器只能提供部分观测、动作的执行存在噪声、其他智能体的行为难以预测时，仅靠"输入—输出"式的反应式策略难以保证长期安全与任务完成。世界模型提供了处理不确定性的统一框架：它不仅可以预测最可能的未来，还可以给出预测的置信度；它不仅支持单一轨迹推演，还支持分布式的多场景采样；它不仅关心短期目标，还能够通过奖励函数或代价函数的回传来评估长期价值。

此外，世界模型还具备一个常被忽视的优势——样本效率。在真实环境中直接试错的成本极高，而在世界模型中"想象"则几乎免费。把真实交互数据用于更新世界模型，再在世界模型中进行大量虚拟试错，是当前公认的提升具身智能学习效率的核心路径之一。

1.5 案例一：自动驾驶中的世界模型

下面我们以自动驾驶为第一个具体案例，展示世界模型如何在一个高安全等级的真实系统中发挥关键作用。自动驾驶系统通常被划分为感知、预测、规划、控制四个模块，而世界模型的理念正在贯穿其中。

在感知阶段，世界模型通过将摄像头与激光雷达的时序数据融合为一个统一的鸟瞰视图（Bird's-Eye View，BEV）表示，为后续推理提供空间一致的输入。在预测阶段，世界模型对周围车辆、行人和骑行者未来的轨迹进行多模态采样：它不仅预测"他最可能怎么走"，还给出"他可能怎么走"的多种合理假设及其概率分布。这种多模态预测能力对处理交叉路口、汇入车流等复杂场景至关重要。

在规划阶段，自动驾驶系统在世界模型的支撑下进行反事实推演：假设本车执行换道动作，预测 3 秒后其他车辆的位置；假设本车保持当前车道，预测行人过街的可能性；假设本车减速让行，预测后方车辆的跟车反应。通过对这些反事实轨迹的代价评估，规划器选择综合代价最低的动作序列。

业界已经出现多个具有代表性的工程实现。Waymo 在其第五代系统中引入了基于大规模真实道路数据训练的 ChauffeurNet 等端到端模型，其内部已经具备显式的预测—规划耦合结构；特斯拉在其 FSD（Full Self-Driving）方案中，强调以占用网络（Occupancy Network）为核心的隐式世界模型；英伟达的 DRIVE 系列则提供了基于物理引擎与神经辐射场混合的世界模型工具链。这些方案的共同特点是：它们都不再依赖手工编写的交通规则表，而是让世界模型从数据中学习物理规律与社会交互模式，从而在长尾场景中具备更好的鲁棒性。

值得注意的是，自动驾驶对世界模型提出了特殊的安全要求：它必须能够对自身的预测不确定性进行量化，并在置信度不足时主动降级到保守策略（如停车让行）。这一"不确定性感知"的特性，是连接世界模型与安全工程的桥梁，也是后续章节将深入讨论的主题之一。

1.6 案例二：家庭服务机器人中的世界模型

如果说自动驾驶体现的是世界模型在"高速移动 + 安全关键"场景下的价值，那么家庭服务机器人则体现了世界模型在"语义丰富 + 任务多样"场景下的独特作用。家庭环境与交通环境的关键差异在于：物体的功能属性远比几何属性重要，任务的成功标准远比轨迹的精确性更受关注。

一个典型的家庭服务场景是："请帮我把桌上的苹果放到冰箱里。"这条自然语言指令背后，智能体需要完成一系列推理：识别"苹果"对应的视觉实体（桌上那几颗红色的圆形物体），理解"冰箱"在房间中的位置，规划从桌面到冰箱的路径，理解"放到冰箱里"意味着打开冰箱门、放入苹果、关闭冰箱门。在执行过程中，它需要预测动作的物理后果——如果我用太大力量抓取苹果，可能会捏坏它；如果冰箱门是关着的，需要先拉开门；如果冰箱里已经放满了东西，需要选择其他位置。整个过程涉及物体级语义、物理动力学、长时序规划与失败恢复。

世界模型在这个场景中扮演的角色可以概括为三个层次。第一层是物体动力学层：智能体需要建立关于物体重量、摩擦、可变形性等的内部模型，从而预测抓取或推动的后果。第二层是空间结构层：智能体需要维护一个关于房间、家具、容器等的语义地图，并理解它们之间的空间关系。第三层是任务因果层：智能体需要理解任务步骤之间的因果依赖，并能够根据执行反馈动态调整后续步骤。这三个层次共同构成了一个分层的世界模型。

近年来，多家研究机构与创业公司已经展示了这类系统的雏形。Google DeepMind 的 RT-2 项目展示了视觉—语言—动作大模型如何直接将互联网规模的语义知识迁移到机器人操作中；斯坦福大学的 ALOHA 与 Mobile ALOHA 系列工作通过低