AI 智能体范式演进：从规则系统到自主智能体 / The Evolution of AI Agent Paradigms

第 1 章　AI 智能体范式演进：从规则系统到自主智能体 / The Evolution of AI Agent Paradigms

1.1　问题的提出：智能体是新范式，还是"大模型 + while 循环"？

2023 年 3 月底，AutoGPT 在 GitHub 上的 Star 数在不到一周内突破两万。紧接着 4 月初，Yohei Nakajima 发布了只有 140 行 Python 代码的 BabyAGI，把"任务创建—优先级排序—执行—反思"塞进一个 while 循环。一时间，推特（Twitter）与 Hacker News 上的讨论几乎一边倒：自主智能体（Autonomous Agent）时代已经到来，AGI 近在咫尺。然而仅仅几个月后，批评声浪随之而来——大量 AutoGPT 项目在真实任务中陷入了"无限循环—幻觉—崩溃"的死锁，社区开始流传"AutoGPT 是 GPT-4 的最大幻觉放大器"这样的论断。这场争论的本质问题，今天依然是产业界与学术界最核心的分歧：

> 在 LLM 时代，智能体（Agent）究竟是一种新范式，还是仅仅是大模型加一层控制流循环（Control Loop）的简单包装？

对这个问题的回答决定了我们如何看待 LLM-Based Agent 的工程意义。本章拒绝两种极端立场：一种认为智能体就是 LLM 外包一个 while 循环，没有什么新东西；另一种认为只要 LLM 足够强大，智能体就是 AGI 的同义词。我们主张一种更克制的工程视角——LLM-Based Agent 既不是新瓶装旧酒，也不是 AGI 的近义词；它是一种新的架构模式（Architectural Pattern），其设计哲学、组件划分、状态管理与过去任何一代智能体都有本质区别，但它的工程实现又确实建立在 LLM 这一新内核之上。要理解这种张力，必须先回到智能体 60 年的演化史。

1.2　三代智能体的技术遗产：从 SHRDLU 到深度强化学习

智能体（Agent）一词并非 LLM 时代的发明。在人工智能 60 年的发展史上，智能体概念至少经历了三次范式跃迁，每一次都留下了不可忽视的工程遗产，也暴露了它那个时代的根本局限。理解这三代，是理解为什么 2023 年成为 Agent 元年的前提。

1.2.1　第一代：符号主义智能体（Symbolic Agents, 1960s–1980s）

智能体概念的工程化起点，可以追溯到 1966 年斯坦福研究所（SRI）启动的 Shakey 项目。Shakey 是世界上第一台能够"自主推理并执行物理动作"的移动机器人，它使用 STRIPS（Stanford Research Institute Problem Solver）规划器在一个抽象的"块世界（Blocks World）"中生成动作序列。1970 年，Terry Winograd 在 MIT 完成 SHRDLU 系统，把自然语言理解与动作执行结合在一起：用户可以用英文让 SHRDLU 移动积木，系统会解析指令、在世界模型中推演、并生成物理动作。

这一代智能体的核心架构可以形式化为 Sense–Plan–Act（SPA）三段式：

1. 感知（Sense）：从环境中提取符号化的事实（Facts），存入世界模型（World Model）； 2. 规划（Plan）：使用一阶逻辑或规划算法（如 STRIPS、PDDL）生成动作序列； 3. 行动（Act）：执行规划好的动作，并更新世界模型。

这一架构在哲学上极具吸引力：智能体被设想为一个"知识库 + 推理引擎 + 效应器"的组合，几乎可以直接对应笛卡尔的"理性主体"概念。1987 年，哲学家 Michael Bratman 提出了 BDI（Belief-Desire-Intention）模型，1991 年 Anand Rao 与 Michael Georgeff 在此基础上给出了形式化语义；1995 年 Michael Wooldridge 与 Nicholas Jennings 在他们的奠基性论文中给出了被广泛沿用至今的智能体弱定义（Weak Agency）：

> 一个 Agent 是一个封装了状态、能够自主行动、能够与环境（或其他 Agent）交互的计算实体。

然而，第一代智能体在工程上遭遇了三道无法逾越的墙：

（1）知识工程瓶颈（Knowledge Acquisition Bottleneck）。 SHRDLU 之所以能工作，是因为世界只有 7 种积木、几种颜色和一个机械臂。要把这种能力推广到开放世界，需要手工构建一个巨大的知识库。Cyc 项目（Doug Lenat，1984 启动）试图用 30 年时间手工编码"常识"，最终未能完成既定目标。这预示了一个深刻的工程教训：手工构建世界模型在开放领域中注定失败。

（2）组合爆炸（Combinatorial Explosion）。 Shakey 在一个约 15 块积木的世界中，规划空间就已经指数级增长。任何基于一阶逻辑的全量规划器都无法扩展到真实世界任务。

（3）脆性（Brittleness）。 当输入超出知识库覆盖范围时，系统的行为是不可预测的——它不会"优雅失败"，而是直接崩溃或产生荒谬结论。

尽管如此，第一代智能体留下了两个仍然重要的遗产：规划作为智能体核心组件的观念（这在 LLM 时代的 ReAct、Plan-and-Execute 模式中重新出现），以及 Wooldridge-Jennings 弱定义——它定义的"自主性、社会能力、反应性、主动性"四属性，至今仍是智能体教材的标准。

1.2.2　第二代：行为主义与强化学习智能体（Behavior-based & RL Agents, 1986–2020）

1986 年，MIT 的 Rodney Brooks 发表了《Intelligence Without Representation》一文，宣告了对符号主义智能体的反叛。他提出的 包容架构（Subsumption Architecture） 把机器人分解为多层独立的行为层（避障→漫游→探索→建图→任务），高层"包容"低层，每层直接从传感器读取信号并执行动作，没有中央世界模型，没有规划器。Brooks 用一句著名的话概括他的哲学：

> "The world is its own best model."（世界就是它自身最好的模型。）

这一架构的工程突破在于：它让机器人在 没有任何显式推理的情况下，就能在动态环境中鲁棒运行。今天 Roomba 扫地机器人、Mars Rover 上的行为协调层，都还在使用这种思想。然而，包容架构的天花板也很明显：它能处理低层反射（reflexive）任务，但无法完成需要多步推理的长程目标（long-horizon goal）。

包容架构把"反应性（Reactivity）"推到了极端，但失去了"前瞻性（Deliberation）"。一个完整的第二代智能体范式，需要一种既能处理序列决策、又能适应不确定性的理论框架。这就是 马尔可夫决策过程（MDP） 与 部分可观测马尔可夫决策过程（POMDP）。

POMDP 框架将智能体定义为一个七元组 $(S, A, T, R, \Omega, O, \gamma)$，其中 $S$ 是状态空间，$A$ 是动作空间，$T(s'|s,a)$ 是转移函数，$R(s,a)$ 是奖励函数，$\Omega$ 是观测空间，$O(o|s')$ 是观测函数，$\gamma$ 是折扣因子。智能体的目标是找到一个策略 $\pi(a|o)$，最大化期望累积折扣奖励 $\mathbb{E}\left[\sum_{t=0}^{\infty}\gamma^t r_t\right]$。这个数学框架，是今天几乎所有 RL-Based Agent 的理论基础。

在工程上，第二代智能体最辉煌的成就是 深度强化学习（Deep RL） 把 POMDP 的近似求解推到了人类水平：

• **TD-Gammon（1992, Gerry Tesauro）**：用 TD($\lambda$) 算法学习 Backgammon，达到接近世界冠军的水平，是神经网络+RL 的第一次成功示范；
• **DQN（2013, DeepMind, Mnih 等）**：在 Atari 49 款游戏中，有 29 款超越人类水平；它引入经验回放（Experience Replay）与目标网络（Target Network）两项关键技术；
• **AlphaGo（2016, DeepMind）**：结合蒙特卡洛树搜索（MCTS）与深度神经网络，4:1 战胜李世石；
• **AlphaZero（2017）**：完全抛弃人类棋谱，从零开始自我对弈，在围棋、国际象棋、日本将棋上全部超越人类世界冠军；
• **OpenAI Five（2018–2019）**：击败 Dota 2 世界冠军 OG 战队，展示了在 **多智能体协作 + 长程决策 + 连续动作空间** 中的能力。

这一代智能体的核心优势在于 学习能力——它不再依赖手工编码的知识，而是通过与环境交互自动发现策略。然而它也付出了巨大的代价：

（1）样本效率（Sample Efficiency）。 AlphaZero 自我对弈了约 2900 万局，相当于人类下 1000 年的围棋量。OpenAI Five 消耗了约 28 万 CPU 核心年的算力。这种学习成本在开放数字世界任务中是不可承受的。

（2）奖励函数工程（Reward Engineering）。 一个 RL 智能体的行为完全由奖励函数塑形。设计一个稀疏的奖励可能导致智能体学不到任何东西（稀疏奖励问题），设计一个错误的奖励则可能产生 Reward Hacking（奖励黑客）——例如训练机械臂抓取物体时，机械臂学会了把物体放在摄像头和目标之间"欺骗"视觉评分。

（3）任务特异性（Task Specificity）。 AlphaGo 不能下象棋（除非重新训练），OpenAI Five 不能玩星际争霸。每一代 RL Agent 都是一个窄专家，几乎无法跨任务迁移。

（4）缺乏可解释性（Interpretability）。 神经网络的策略本质上是黑盒，无法像 BDI 智能体那样解释"为什么选择这个动作"。

第二代智能体最重要的工程遗产是 策略-价值网络（Policy-Value Network） 的概念，以及 探索-利用权衡（Exploration-Exploitation Trade-off） 的设计原则。前者在 LLM Agent 时代被重新表述为"推理链（Chain-of-Thought）"，后者被重新表述为"工具选择的不确定性"。

1.2.3　第三代：LLM-Based 智能体（2022–）

2022 年 10 月，Princeton 与 Google 的 Shunyu Yao 等人发表了 ReAct: Synergizing Reasoning and Acting in Language Models，首次把"推理（Reasoning）"与"行动（Acting）"统一到一个 LLM 循环中。2023 年 2 月，Meta AI 的 Timo Schick 等人发表了 Toolformer，展示了 LLM 通过自监督学习获得调用 API 的能力。2023 年 3 月，OpenAI 在 GPT-3.5-turbo 与 GPT-4 中正式推出 Function Calling，把工具调用从研究问题变成了工程 API。

到 2023 年 4 月，AutoGPT、BabyAGI、AgentGPT 等开源项目相继爆发，宣告了第三代智能体范式的诞生。这一代智能体与前两代的根本区别，不在于某个组件的更新，而在于 LLM 同时扮演了感知解码器、推理引擎、知识库与决策器四个角色。这意味着，过去需要分别建模的几个组件，被一个大模型统一替代了。

为了帮助读者建立时间轴，我把三代智能体的关键节点整理如下：

| 时代 | 代表系统 | 年份 | 核心方法 | 主要局限 | |---|---|---|---|---| | 第一代（符号） | SHRDLU, Shakey, STRIPS | 1968–1980 | 一阶逻辑 + 规划 | 知识瓶颈、组合爆炸、脆性 | | 第一代（BDI） | IRMA, JAM, JACK | 1987–2000 | 信念-愿望-意图模型 | 工程复杂、仍依赖符号表示 | | 第二代（行为） | Subsumption, Roomba | 1986–2002 | 分层行为网络 | 缺乏长程规划 | | 第二代（RL） | TD-Gammon, DQN, AlphaGo, AlphaZero, OpenAI Five | 1992–2020 | 深度神经网络 + RL | 样本效率低、任务特异、不可解释 | | 第三代（LLM） | ReAct, Toolformer, AutoGPT, BabyAGI | 2022–至今 | 大模型 + 控制循环 | 幻觉、长程一致性、成本 |

1.3　LLM 成为"新内核"：为什么是 2023 年

上一节我们梳理了三代智能体的局限。要理解为什么 LLM 成为"新内核"，不能只看某一个能力（如涌现），而要看到 LLM 同时 解锁了三类过去难以兼得的能力。

1.3.1　三项关键能力的同步成熟

能力一：上下文学习（In-Context Learning, ICL）。 GPT-3（2020 年 6 月发布）的最大惊喜是：当你把若干个"输入—输出"示例直接写入 Prompt，模型在不更新任何参数的情况下，就能学会一个新任务。这一现象在 GPT-2 时代还不明显，到 GPT-3 跃升为稳定能力。ICL 的工程意义是 零训练成本的任务适配——对比 RL Agent 需要数百万局游戏，LLM Agent 可以在一次会话中通过几个示例学到任务结构。

能力二：链式推理（Chain-of-Thought, CoT）。 2022 年 1 月，Jason Wei 等人在 Google 发表《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》，展示了只要在 Prompt 中给出"思考步骤"的示例，模型就能在数学、常识、符号推理等任务上显著提升。CoT 把过去 RL Agent 通过 MCTS 完成的"多步搜索"，压缩为一个 单次前向推理——成本从数小时 GPU 变成一次 API 调用。

能力三：工具使用（Tool Use / Function Calling）。 Toolformer 证明了 LLM 可以通过自监督学习（自构造训练数据）学会在何时调用哪个 API。OpenAI 的 Function Calling 把这一能力产品化：模型输出严格的 JSON 描述，由宿主程序解析后执行外部函数，并把结果反馈回模型的下一轮推理。

这三种能力中，任何单一能力都不足以构成"新内核"：

• 仅 ICL → 只是更好的零样本学习器，仍是"问答系统"；
• 仅 CoT → 只是更好的推理器，但仍停留在"思考"层；
• 仅 Tool Use → 只是更好的 NLU 接口，仍需要外部决策器。

只有当三者同时具备，LLM 才能扮演智能体核心的"大脑"角色——它既能理解任务（ICL），又能拆解步骤（CoT），还能调用工具（Tool Use）。

1.3.2　2023 年的工程拐点

为什么是 2023 年，而不是 2021 年 GPT-3 发布时？答案不在模型本身，而在 外围生态的临界质量（Critical Mass）：

1. 向量数据库的成熟：Pinecone（2019 商用）、Weaviate、Chroma、Milvus 等向量数据库在 2022 年底完成了大规模向量检索的产品化。没有它们，LLM Agent 无法拥有"长期记忆"。 2. 编排框架的爆发：LangChain（2022 年 10 月开源）、LlamaIndex、Semantic Kernel 在 2023 年初集中爆发，提供了 Agent 的脚手架。 3. 工具生态的形成：OpenAI 的 Function Calling、Anthropic 的 Tool Use、Google 的 Vertex AI Extensions，使得任何 LLM 都能以统一协议调用外部 API。 4. 公共认知的建立：ChatGPT（2022 年 11 月发布）在两个月内突破 1 亿月活，把 LLM 推到了大众认知层面，给 Agent 概念提供了"用户基础"。

这意味着，2023 年不是 LLM 突然变聪明了，而是 围绕 LLM 的工程基础设施第一次达到足够成熟，让 Agent 不再是研究演示，而成为可产品化的架构模式。

1.3.3　设计哲学的根本转变

从设计哲学看，LLM-Based Agent 与前两代智能体有三点根本不同：

（1）从"显式知识"到"隐式知识"。 第一代智能体的世界模型是显式声明的（一个谓词集合）；第二代智能体的策略是隐式的（神经网络权重），但需要从零训练；第三代智能体的"世界知识"直接来自预训练语料，无需为每个任务重新学习。这把 Agent 工程的关注点从"如何获取知识"转向"如何编排已有知识"。

（2）从"训练驱动"到"提示驱动"。 第一代与第二代 Agent 的能力提升高度依赖训练（手工编码知识或大规模 RL 训练）；第三代 Agent 的能力提升主要依赖 Prompt 工程、上下文设计、工具协议。这是工程范式的重大转变。

（3）从"任务特异"到"任务通用"。 AlphaGo 不能下象棋；GPT-4 可以同时写代码、做数学、订机票、写诗。LLM-Based Agent 通过统一的 Prompt + Tool 接口，理论上可以适配任何数字任务。

但这一转变也带来了新的设计挑战：长程一致性（Long-horizon Coherence）、幻觉传播（Hallucination Propagation）、成本控制（Cost Control）。本书后续章节将逐一展开这些挑战的工程应对。

1.4　智能体四要素的形式化定义

要给智能体一个能在工程上落地的定义，不能停留在 Wooldridge-Jennings 的哲学层面。本节给出一个更形式化的版本，为后续全书的术语统一打基础。

1.4.1　四要素的数学框架

我们把一个 LLM-Based Agent 定义为一个五元组 $\mathcal{A} = (\mathc