Name: 自主智能体系统工程
Author: MiniMax-M3

第一章智能体范式的演进与统一形式化框架 / Chapter 1: Evolution of the Agent Paradigm and a Unified Formal Framework

第一章智能体范式的演进与统一形式化框架

智能体（agent）这一概念在人工智能六十年历史中始终承载着"自主决策者"的承诺，但其在不同范式下的内涵却发生了根本性漂移。当 Russell 与 Norvig 在 *Artificial Intelligence: A Modern Approach* 中将 agent 定义为"通过传感器感知环境、通过执行器作用于环境的任何事物"时，他们面对的是一个符号可枚举、效用可计算的世界；而当一个由 GPT-4 驱动的 ReAct 智能体在 WebArena 中点击按钮、解析 DOM 树、调用 REST API 并基于自然语言反思自身行为时，"环境"一词已经演化为包含半结构化 HTML、非形式化用户指令与隐式社会规范的混合体。本章要回答的核心问题是：在这一历史性概念迁移之后，我们应如何建立一套统一且可计算的形式化语言来刻画"智能体"，使之既兼容经典理性 agent 的严格定义，又能够描述 LLM-Agent 的涌现式能力？为回答此问题，我们沿着三条线索展开论述：（1）从理性 agent、BDI、SOAR 到 POMDP 的经典文献谱系如何塑造了我们对 agent 的形式直觉；（2）LLM 的"通用逼近器"性质如何从根本上重塑了 agent 各组成要素的可计算性边界；（3）一套七元组 $\mathcal{A} = (S, A, O, T, R, M, \pi)$ 如何为反应式、审慎式与学习型 agent 提供共同的数学底座，并以符号—神经融合视角定位 LLM 在认知—行动闭环中的角色。

1.1 经典 AI Agent 文献谱系：从理性 Agent 到 POMDP 的形式直觉

经典人工智能对 agent 的形式化研究可追溯至四股相互交织的学术脉络：Newell 的认知体系 SOAR、Bratman 与 Rao–Georgeff 的 BDI 哲学、Russell–Norvig 的理性 agent 教材体系，以及 Sutton–Barto 与 Hutter 的序贯决策理论。四者共享一个隐含前提——agent 是一个具有明确状态、可枚举动作、且决策逻辑可被显式编码的计算系统。

SOAR（State, Operator, And Result）由 Laird、Newell 与 Rosenbloom 于 1987 年提出，其核心主张是"所有认知活动皆为状态空间中的搜索"。SOAR 将 agent 的认知循环抽象为"输入—建议—评估—应用"四阶段，其长期记忆通过产生式规则（production rules）与 chunking 机制实现。该架构在理论上具有完整的可解释性，在工程上却因规则爆炸而难以扩展到开放环境；这一局限本身就成为后续 POMDP 与强化学习范式兴起的内在动因。

BDI（Belief-Desire-Intention）架构由 Bratman 在 1987 年从哲学意图理论中抽象出来，并由 Rao 与 Georgeff 于 1991 年赋予时序逻辑语义。BDI 的核心洞见在于：理性的关键不在于 agent 在每一时刻的最优决策，而在于其承诺（commitment）——即在何种条件下维持、何时重新评估既定意图。这一区分对动态环境下的实用理性至关重要。然而，BDI 的工程实现（如 dMARS、JACK、AgentSpeak(L)）依赖于手工构建的信念库与目标模板，本质上是符号主义专家系统的精致化，难以应对分布偏移与未知状态。

Russell 与 Norvig 在教科书层面给出了最广为接受的形式定义：一个理性 agent 是"对每一个可能的感知序列，选取能使性能度量最大化之动作的函数"，并进一步按"简单反射、基于模型、基于目标、基于效用"四象限对 agent 进行分层。这一 PEAS（Performance, Environment, Actuators, Sensors）框架的优势在于其普适性——任何系统皆可被视为 agent——但也正因如此，它对 agent 的认知结构与学习能力保持沉默，未能刻画我们今天所说的"能力—效率"权衡。

与上述符号传统并行，强化学习与决策理论提供了第四种形式化路径。Sutton 与 Barto 将 agent 形式化为马尔可夫决策过程中的策略 $\pi: S \rightarrow A$，而 Hutter 提出的 AIXI 模型则给出了理论上的最优解：对于任意可计算环境，$\pi_{AIXI}$ 是贝叶斯最优的。但 AIXI 不可计算这一事实本身，揭示了经典 agent 理论的内在张力——最优性、可计算性与可实现性三者难以兼得。POMDP（部分可观察马尔可夫决策过程）将这一不可观测性纳入形式化框架，用信念状态 $b \in \Delta(S)$ 替代真实状态 $s$，从而为感知噪声下的序贯决策提供了数学基础，成为后续深度强化学习（如 Atari、AlphaGo、AlphaStar）的共同祖宗。

```mermaid flowchart LR N1["1956-1980 Symbolic AI Logic Theorist / SHRDLU"] --> N2["1980-1995 Cognitive Architecture SOAR / ACT-R / BDI"] N2 --> N3["1995-2015 Sequential Decision POMDP / AIXI / RL"] N3 --> N4["2015-2022 Deep RL Agents DQN / AlphaGo / AlphaStar"] N4 --> N5["2022-Present LLM-Agent Era ReAct / Reflexion / Voyager"] N5 -.理论反哺.-> N3 ```

图 1.1 智能体范式演进时间轴。每代范式既是对前代局限的回应，也保留了其核心假设：SOAR 保留了"搜索即认知"，BDI 保留了"承诺即理性"，POMDP/RL 保留了"序贯决策即学习"，而 LLM-Agent 正在以"提示即程序"的方式重写这一谱系。

值得注意的是，经典文献谱系内部存在一个未被显式讨论的隐含假设——所有可认知状态都应被显式表示。无论是 BDI 的信念库、SOAR 的工作记忆，还是 POMDP 的信念向量，状态表征的可枚举性都是其推理引擎的前提。这一假设在大模型时代被彻底颠覆：LLM 将状态表征压缩进连续的隐空间，并以前向计算即时解码，从而绕过了显式符号构造的组合爆炸问题。这正是 LLM-Agent 范式跃迁的形式根源。

1.2 LLM-Agent 的范式跃迁：从手工符号推理到提示驱动的通用推理

2022 年底，OpenAI 发布 ChatGPT 后短短六个月内，AutoGPT、BabyAGI、AgentGPT、MetaGPT 等开源框架相继涌现，将 LLM 从"对话补全器"重塑为"任务级自主执行者"。这一跃迁的本质并非简单的"用 LLM 替代规则引擎"，而是涉及四个层面的范式断裂。

第一层是知识表示层面的断裂。传统 agent 的领域知识必须由人类工程师以一阶逻辑、产生式规则或本体论的形式显式编码；而 LLM-Agent 的"知识"以数十亿参数的非线性函数形式隐式存储，其外化（externalization）通过自然语言提示而非符号查询完成。这意味着 agent 的能力边界不再由其知识库的覆盖度决定，而由其隐空间对目标分布的对齐程度决定——这一转变将 agent 工程的瓶颈从"知识获取"转移至"对齐工程"。

第二层是推理引擎层面的断裂。ReAct（Reasoning + Acting，Yao et al., 2022）通过在 prompt 中交替注入"思考—行动—观察"轨迹，使 LLM 能够在无梯度更新的情况下完成多步规划；Reflexion（Shinn et al., 2023）进一步引入自我反思机制，使 agent 能够在试错中积累"口头经验"；Toolformer（Schick et al., 2023）与 OpenAI 的 function calling 规范则将外部工具调用标准化为 JSON Schema 级别的契约。这些方法共享一个根本特征——推理不再是一次性的前向计算，而是一个与外部环境交互的多轮过程。这恰恰是 POMDP 框架的核心建模对象。

第三层是记忆架构层面的断裂。经典 agent 的记忆系统区分短期工作记忆（如 SOAR 的 working memory）与长期陈述性记忆（如知识图谱），两者均依赖显式的数据结构；LLM-Agent 则在二者之间引入了第三类——情景记忆（episodic memory），它以自然语言轨迹或向量嵌入的形式存储，可被语义检索而非关键词匹配。Voyager（Wang et al., 2023）在 Minecraft 中构建的"技能库"即为典型：每当 LLM 解锁新技能，便将其以可执行代码片段 + 自然语言描述的形式存入长期库，供后续情境下复用。这本质上是一个持续可组合的程序库，与人类程序员的 GitHub 仓库具有同构性。

第四层是学习机制层面的断裂。经典 agent 的学习遵循明确的范式——监督学习需要标注数据、强化学习需要奖励信号、迁移学习需要源—目标任务对的预定义；而 LLM-Agent 的"学习"更多体现为上下文学习（in-context learning）与提示工程的在线演化。Agent 在每一轮交互中读取历史轨迹并据此调整后续动作，其"参数"在一次任务中保持不变，但"行为分布"通过上下文动态偏移。这一机制与人类的情景学习（episodic learning）高度同构，却难以被经典的统计学习理论直接刻画。

为了精确刻画上述断裂，我们引入提示级状态（prompt-level state） 概念。设 $h_t = (o_1, a_1, r_1, \ldots, o_t)$ 为截至时刻 $t$ 的完整交互历史，则 LLM-Agent 的策略可写为：

$$\pi_{\theta}(a_t \mid o_t, h_{t-1}) = \text{LLM}_{\theta}(\text{Prompt}(o_t, h_{t-1}, a_t))$$

其中 $\text{Prompt}(\cdot)$ 是一个确定性的提示工程函数，它将原始交互历史编码为 LLM 可消费的字符串。值得注意的是，$\pi_{\theta}$ 在 LLM 参数 $\theta$ 固定时仍是高度非平凡的——它通过提示工程实现了一种无梯度的元学习。这一发现对经典 PAC 学习理论提出了挑战：agent 的泛化误差不再由参数空间的容量决定，而由提示分布与目标分布的语义对齐程度决定。

1.3 统一七元组框架 $\mathcal{A} = (S, A, O, T, R, M, \pi)$：定义、可计算性与边界

形式化框架的核心价值不在于其符号的美观，而在于其对设计选择与可计算性边界的显式刻画能力。本节提出一个兼容反应式、审慎式与学习型 agent 的统一七元组：

$$\mathcal{A} = (S, A, O, T, R, M, \pi)$$

其中每一组分具有明确语义与可计算性约束。

$S$：状态空间（State Space） 表示 agent 与环境可能共同处于的所有世界状态。在经典 POMDP 中，$S$ 通常为有限可枚举集合或紧致拓扑空间；在 LLM-Agent 中，$S$ 应被理解为双重状态空间——既包含可观测的环境配置（如 DOM 树、文件系统状态、数据库内容），也包含不可观测但可推断的语义状态（如用户意图、任务的隐式前置条件）。形式上，我们区分外态 $S^{\text{ext}}$ 与内态 $S^{\text{int}}$，并要求 agent 维护一个信念映射 $b: S^{\text{ext}} \rightarrow \Delta(S^{\text{int}})$。

$A$：动作空间（Action Space） 表示 agent 在任一时刻可执行的全部动作。LLM-Agent 的动作空间具有异质性：既包括离散的工具调用（function call）、结构化输出（JSON）、自由文本生成，也包括对外部 API 的副作用（如数据库写入、文件删除）。这一异质性是 LLM-Agent 区别于游戏 AI 与机器人 agent 的关键特征。设 $A = A_{\text{discrete}} \cup A_{\text{continuous}} \cup A_{\text{language}}$，则动作选择问题转化为一个跨模态决策问题。

$O$：观测函数（Observation Function） 将环境状态映射为 agent 可感知的信号。形式上，$O: S \rightarrow \mathcal{O}$，其中 $\mathcal{O}$ 为观测空间。在 LLM-Agent 中，$O$ 通常是多模态的（文本、图像、HTML DOM、API 响应），且具有部分可观察性——同一观测可能对应多个潜在状态。需要强调的是，$O$ 的选择决定了 agent 的认知带宽；将 $O$ 简化为纯文本会丢失大量结构化信号，而过细的 $O$ 又会使 LLM 的上下文窗口饱和。

$T$：转移函数（Transition Function） 定义环境在 agent 动作下的演化规律。经典设置要求 $T: S \times A \rightarrow \Delta(S)$ 已知或可学习；而 LLM-Agent 通常面对黑盒转移——Web 环境的转移由服务器端代码决定，agent 只能通过采样估计。这一不可知性将 agent 推入模型不确定性区域，要求 $\pi$ 在最坏情况下仍保持鲁棒性。

$R$：奖励函数（Reward Function） 提供 agent 行为优劣的标量反馈。在监督范式下，$R$ 由人类标注的反馈或明确的成功/失败信号给出；在 LLM-Agent 中，奖励信号日益稀疏且延迟（sparse and delayed）——一次 Web 任务的成功可能需要数十次中间动作，而每个中间动作的"对错"并无明确定义。这一稀疏性催生了过程奖励模型（process reward model, PRM）与自我评估机制的研究。

$M$：记忆机制（Memory） 是 LLM-Agent 区别于传统 agent 的关键要素。我们将 $M$ 分解为短期记忆 $M_{\text{short}} = h_t$（即当前上下文窗口内的历史轨迹）、情景记忆 $M_{\text{epi}} = \{(s_i, a_i, r_i)\}_{i=1}^{N}$（过往任务的完整交互日志）与语义记忆 $M_{\text{sem}}$（可复用的程序片段、概念定义、世界知识）。三者通过检索机制 $\rho: M_{\text{epi}} \times M_{\text{sem}} \rightarrow M_{\text{short}}$ 在推理时动态融合。

$\pi$：策略（Policy） 将感知—记忆联合映射到动作。LLM-Agent 的策略形式化为：

$$\pi_{\theta}(a_t \mid o_t, m_t) = \text{argmax}_{a \in A} \text{LLM}_{\theta}(a \mid \text{Encode}(o_t, m_t))$$

其中 $m_t \in M$ 为检索增强后的记忆片段。该定义的关键洞见在于：LLM 参数 $\theta$ 与提示工程 $\text{Encode}$ 共同构成策略。固定 $\theta$ 仍可通过 $\text{Encode}$ 的演化实现行为调整，这一"提示即程序"特性使得 LLM-Agent 成为一种可由非技术用户编程的 agent。

可计算性边界讨论。七元组框架在 LLM-Agent 语境下引入了若干古典框架未充分讨论的可计算性约束。第一，$\text{LLM}_{\theta}$ 的前向计算是确定性的（在 greedy decoding 下），但其输入空间（自然语言提示）是无限且非结构化的，这使得策略的等价类划分成为开放问题。第二，$M_{\text{epi}}$ 的检索复杂度随 $N$ 线性增长，而 LLM 的上下文窗口为有限常数 $C$，故必须借助向量检索或图索引实现近似——这一近似对策略最优性的影响尚无理论刻画。第三，$T$ 的不可知性使得经典 POMDP 的值迭代算法失效；agent 必须依赖基于 LLM 的世界模型（world model）进行规划，这一模型本身又受幻觉（hallucination）影响。

我们提出形式可实现性三定理（非严格证明，作为研究纲领）：

1. 定理 1（记忆有限性）：若 $M_{\text{short}}$ 的容量为 $C$，则任何需要超过 $C$ 步前瞻的策略 $\pi$ 不可实现； 2. 定理 2（提示等价类）：存在无限多对提示 $(p_1, p_2)$ 使得 $\text{LLM}_{\theta}(p_1) \equiv \text{LLM}_{\theta}(p_2)$，故策略空间是一个商空间 $\Pi / \sim_{\theta}$，其有效维度由 $\theta$ 的语言建模能力决定； 3. 定理 3（奖励稀疏性下界）：若 $R$ 仅在终止时刻非零，且任务成功率上界为 $p < 1$，则平均任务步数 $T \geq 1/p$ 时才能保证 agent 获得足够学习信号。

这三条定理共同划定了 LLM-Agent 在经典强化学习意义上的可学习性边界，同时也为后续章节讨论"推理增强"（reasoning augmentation）与"自演化 agent"（self-evolving agent）埋下伏笔。

1.4 符号—神经融合视角：LLM 在认知—行动闭环中的角色

将 LLM 视为 agent 的"大脑"是一种直观的隐喻，但这一隐喻的精确化需要回答三个子问题：（1）LLM 在 agent 循环中扮演的是世界模型、策略函数、记忆编码器还是元控制器？（2）符号推理（如逻辑演算、定理证明）与神经推理（如 LLM 的前向计算）应如何分工？（3）这种融合是否产生了经典文献中不存在的新能力？

关于第一个问题，我们主张 LLM 实际上同时承担多个角色，其具体承担何种角色取决于系统设计者在提示工程中赋予的"任务

第一章 智能体范式的演进与统一形式化框架 / Chapter 1: Evolution of the Agent Paradigm and a Unified Formal Framework