多智能体系统导论：从单体智能到群体智能

第 1 章 多智能体系统导论：从单体智能到群体智能

当一个强化学习智能体在 Atari 游戏中轻松击败人类冠军、在《Dota 2》中以 5v5 形式碾压职业战队时，工程界一度相信"端到端大模型 + 单一策略网络"足以解决一切序贯决策问题。然而回到现实：仓储中心需要在 5 万平方米的地面上协同调度 500 台 AGV（Automated Guided Vehicle）；一支自动驾驶车队需要在 1 公里之外的盲区中预判侧向来车；一支量化交易队伍需要在毫秒级延迟内分配 200 个 ETF 篮子的下单量。这些场景都共享同一个无法被单体架构逾越的物理事实——环境状态空间、传感器覆盖范围与执行器物理分布的乘积，超出了任何单一智能体的带宽上限。于是多智能体系统（Multi-Agent System, MAS）从分布式人工智能（Distributed Artificial Intelligence, DAI）的实验室走出，成为承载现代复杂决策的默认架构。本章将回答一个根本问题：在何种条件下，MAS 显著优于单体智能？其理论根源、应用边界与工程张力分别在哪里？并以一个仓储机器人端到端案例贯穿全章，在最后给出本书三层结构（理论、协议、工程）的阅读地图，引导读者进入第 2 章的认知模型内部。

---

1.1 单体智能的三道墙：为什么需要群体协作

单体智能（single-agent intelligence）将决策视为一个封闭的最优控制问题：

$$\pi^* = \arg\max_{\pi \in \Pi} \mathbb{E}_{\tau \sim p_{\pi}(\tau)} \left[ \sum_{t=0}^{T} \gamma^t r(s_t, a_t) \right]$$

这一形式在以下三个隐含假设下成立：（1）状态 $s_t$ 完全可观测；（2）动作空间 $\mathcal{A}$ 单体可达；（3）环境的动态转移 $p(s_{t+1}|s_t, a_t)$ 平稳且不受其他决策者策略的耦合影响。一旦进入真实工业场景，这三条假设往往同时被打破，从而形成单体智能的"三道墙"。

第一道墙：部分可观测的视角碎片。一台 AGV 只能感知半径 8 米内的激光点云；一支自动驾驶车队每辆车装配的车载摄像头视角有限 120°；一个量化基金的研究员只能看到所属证券账户的订单簿。任何个体都生活在自身传感器的"几何阴影"里。Craig 在 1987 年的 Rational Agents 论文中已经指出，部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP）的信念状态空间呈指数爆炸，单体策略网络在 $|\mathcal{S}| \times |\mathcal{O}|$ 维度上根本无法收敛。多智能体系统通过空间分布式的传感覆盖将"阴影"互补，使联合观测 $o_{1:n} = (o_1, \dots, o_n)$ 在统计意义上接近全观测，这一原理在 6G 通感一体化（Integrated Sensing and Communication, ISAC）研究中被称为 *Cooperative Perception Gain*，其理论极限由信道容量 $C$ 与采样频率共同决定。

第二道墙：执行带宽的物理上限。单体智能体的动作空间维度受执行器数量严格限制。例如仓储中心每班次需要完成 12,000 次拣货，单台机器人即便 24 小时不间断运行也只能完成约 200 次，剩余 99% 的吞吐需求必须由群体执行器分担。这里存在一个工程经验法则：当任务并行度（task parallelism）$P$ 超过单体最大并发度 $B_{\max}$ 时，单体系统无法在 SLA 时延内完成，必须引入 MAS。在生物学上这对应着 Sumpter 提出的 *Social Foraging Hypothesis*：蚁群通过 $n$ 倍个体数量的并行采集，将食物储备时间从小时级压缩到分钟级。

第三道墙：策略耦合导致的非平稳性（non-stationarity）。当环境中存在多个学习中的智能体，每个体的最优策略都依赖于其他体的当前策略；任何一方更新参数都会让另一方的价值函数估计失效。这就打破了在 MDP 中至关重要的环境平稳性假设。在自动驾驶博弈中，一名激进换道的人类驾驶员会迫使旁边的自动驾驶智能体调整收益函数中的"安全权重"。在量化对冲场景中，一个基金的调仓动作会改变另一个基金的市场冲击（market impact）。因此，Tutorials on Multi-Agent Reinforcement Learning（MARL）中反复强调，MAS 的核心不是"多个独立学习者并行运行"，而是在策略耦合之下实现分布式均衡求解。其难度远超单体的 Bellman 最优性。

这三道墙不是互斥的，而是相互嵌套的。当 $n$ 个智能体各自持有局部观测 $\mathcal{O}_i$，联合动作空间维度增长为 $|\mathcal{A}|^n$，通信带宽 $B$ 上的传输延迟形成时序耦合，而策略更新又因他人梯度而漂移。这一耦合产生了 DAS（Distributed Agent Systems）领域的核心研究对象——形式化为随机博弈（Stochastic Game / Markov Game）：

$$\mathcal{G} = \langle \mathcal{N}, \mathcal{S}, \{\mathcal{A}_i\}_{i \in \mathcal{N}}, P, \{r_i\}_{i \in \mathcal{N}}, \gamma \rangle$$

其中 $\mathcal{N}$ 为智能体集合，$P: \mathcal{S} \times \mathcal{A} \to \Delta(\mathcal{S})$ 是受联合动作影响的转移核，$r_i: \mathcal{S} \times \mathcal{A} \to \mathbb{R}$ 是每个体的私有奖励。在 POMG（Partially Observable Markov Game）中，每个体仅基于动作-观测历史 $h_i^t = (o_i^1, a_i^1, \dots, o_i^t)$ 选择动作 $a_i^t = \pi_i(h_i^t)$。这就引出了 LWER（Learning with External Risk）等综述中所谓的 *Agentic Curse of Dimensionality*：状态、动作与策略同时沿 $n$ 维组合爆炸。

理解 MAS 不是为了求解"AI 万能"，而是为了回答分布式控制中的"Pareto 前沿问题"：在 $n$ 个体的策略乘积空间 $\Pi^n$ 内，哪一族策略能在通信带宽、计算预算、推理延迟三重约束下为整个群体带来接近最优的累积奖励？这一目标贯穿了第 2 章至第 15 章的全部讨论。

---

1.2 理论谱系：从黑板系统到 LLM Agent 集群

多智能体系统的学术根基可上溯至 1970 年代的分布式人工智能。理解这条谱系不只是为了致敬历史，更因为今天 LLM Agent 编排（Agent Orchestration）所遭遇的工程问题——上下文注入、角色冲突、消息风暴——与 50 年前 DAI 学者面对的问题在数学结构上惊人地同构。

黑板系统（Blackboard System）。Hearsay-II（CMU, 1973）将多个专家模块（语音识别、语法分析、语义解码）写入一个共享的"黑板"数据结构，每个模块自底向上写入假设，由调度器（scheduler）按等级优先级激活。其核心创新是通过共享内存而非显式消息传递完成隐式通信。今天 LangChain 的 Memory 类、AutoGen 的 Group Chat Manager、MetaGPT 的 Message Pool 在结构上均是黑板系统的现代化身：所有 Agent 写入共享的"上下文池"，调度器依据订阅关系激活下游 Agent。黑板架构的优势在于通信路径的解耦——Agent 不需要知道谁会读它的消息；劣势则在于写入冲突、状态不一致、订阅图谱循环，这些问题在 1980 年代已经困扰了 Lesser & Corkill 的 DVMT（Distributed Vehicle Monitoring Testbed），今天则在 LLM Agent 系统的"无限循环调用"中复现。

Actor 模型（Actor Model）。Hewitt、Bishop 与 Steiger 在 1973 年提出的 Actor 模型给出了 MAS 通信的形式化基线：每个 Actor 是隔离的并行计算单元，通过异步消息传递（asynchronous message passing）进行交互，消息在邮箱（mailbox）中按 FIFO 排列。Actor 模型具有三个性质：(i) 并发单元之间无共享状态；(ii) 消息传递不可篡改；(iii) Actor 通过改变自身行为（become）响应消息。Erlang/OTP 和 Akka 框架在大规模分布式系统（电信交换、即时通讯）中证实了 Actor 模型在亿级消息吞吐下的鲁棒性。当我们今天讨论 LLM Agent 的"工具调用（tool-use）通信"时，本质上是把 Actor 的 mailbox 替换为 LLM 的 tool-call JSON，把 become 替换为 prompt template 重写。对 Actor 模型的批判包括消息风暴（message storm）——当 $n$ 个 Agent 形成全连接通信图时，平均消息量级为 $O(n^2)$，这一复杂度直接催生了本书第 7 章将讨论的拓扑优化。

BDI 架构（Belief-Desire-Intention）。Rao 与 Georgeff 在 1991—1995 年间将 BDI 模型从哲学人工智能（Bratman）转化为可计算的分层逻辑：信念（Belief）反映智能体对世界的认识；愿望（Desire）表达可追求的目标；意图（Intention）记录已承诺执行的计划栈。BDI 提供了理性 Agent 的心智模型骨架，并通过 AgentSpeak(L)、JADE、Jason 等语言工程化。今天在 CrewAI、AutoGen Studio 中设定的"角色（Role）+ 目标（Goal）+ 背景故事（Backstory）"三件套，正是 BDI 三元组的轻量化复刻：Background 近似 Belief，Goal 近似 Desire，Role 近似 Intention。Wooldridge 在 *An Introduction to MultiAgent Systems* 中指出，BDI 架构的最大贡献不是算法，而是给出了 Agent 工程化的心智-行为分离原则——这一点正是后续 LLM Agent 编排能够"角色即模板"的理论先导。

MARL 与博弈均衡流派。Littman 在 1994 年提出 Minimax-Q，将 Q-learning 推广到零和随机博弈；Hu & Wellman 在 1998 年给出 Nash-Q 处理一般和博弈；Busoniu 等人在 *A Comprehensive Survey of Multi-Agent Reinforcement Learning*（2008）中系统梳理了 MARL 的算法谱系。MARL 的核心数学问题是：在没有全局奖励信号的前提下，每个 Agent 如何估计联合动作值 $Q(s, a_1, \dots, a_n)$？经典做法包括 Value Decomposition（VDN、QMIX）、Centralized Training with Decentralized Execution（CTDE）、Mean Field 近似。近五年来，*Counterfactual Multi-Agent Policy Gradients*（COMA）、*Multi-Agent Actor-Critic*（MAAC）、*Multi-Agent Proximal Policy Optimization*（MAPPO）在 StarCraft II 与 Google Research Football 等基准测试中击败了内置 AI，但 SOTA 与人类专家之间仍有显著差距。

LLM Agent 集群的范式跃迁。自 2022 年底以来，以 GPT-4、Claude 3、Gemini 1.5 为代表的大型语言模型开始作为 Agent 的"认知中枢"出现。*Generative Agents*（Park et al., 2023）展示了 25 个 LLM Agent 在模拟小镇中自发形成社交聚会；*AutoGen*（Wu et al., 2023）提出可对话的 Agent 群组对角色、用户、工具三类对象进行编排；*CrewAI* 与 *LangGraph* 进一步把工作流变成图（graph）。这些系统的共同架构是：Foundation Model 作为共享的 reasoning 引擎，通过 Prompt 模板差异化产生不同 Agent 的角色行为，通过 Tool-Use 拓展外部执行，通过 Memory 模块维持长期上下文。本书将这种风格称为 *Role-as-Prompt* 范式，其特点是推理质量高、协同行为自然涌现，但代价是通信代币（token）成本随交互轮次线性增长，$n$ 个 Agent 完成 $T$ 轮对话的总 token 量约为 $O(n \cdot T \cdot L_{\text{prompt}})$，当 $L_{\text{prompt}}$ 包含上下文历史时进一步退化为 $O(n^2 T)$。这是第 8 章"经济高效的通信协议"将重点讨论的工程张力。

把这条谱系横向比较，可以提炼出 MAS 的五个不变量：(1) 去中心化的认知主体；(2) 通过显式消息或隐式共享状态的通信；(3) 私有与公共状态的界限管理；(4) 局部策略与全局目标的张力；(5) 异步事件的并发推理。这五点在黑板系统与 LLM Agent 集群中以不同形态反复出现，是后续 14 章讨论的核心议题。

---

1.3 五大典型应用场景

MAS 不是学术奢侈品，而是已经在仓储、交通、金融、能源、组织治理这五个垂直域创造了数十亿美元的工程价值。本节逐域拆解其需求结构、典型指标与失败模式。

仓储机器人集群（Warehouse Robot Fleets）。Amazon 自 2012 年收购 Kiva Systems 以来，已部署超过 750,000 台货架搬运机器人（Kiva 继任者：Hercules、Xanthus、Proteus）。一组常见配置为 500 台 AGV 在 50,000 m² 仓储中心内拣货，要求单 SKU 出库时延 $SLA_{\text{pick}} \leq 15$ 分钟，订单满足率 $\geq 99.5\%$，单车电池续航 8 小时。MAS 在此承担四类决策：(a) 任务分配：将 12,000 条/小时的拣货订单匹配到 500 台 AGV，常用拍卖机制（combinatorial auction）或市场机制；(b) 路径规划：在动态障碍物环境下的中央-局部两级规划，中央服务器解决车间级流量分配，AGV 自身解决局部避障；(c) 死锁检测与解除：当多台 AGV 形成环形等待时需要触发 *deadlock-breaking auction*；(d) 异常容错：AGV 故障时任务重分配。这一场景的 MAS 工程难点集中在通信——当 500 台 AGV 每秒报告一次位姿，无线网络峰值流量约 1.5 Mbps/台，集中式架构必然成为瓶颈；现代仓储系统必须把通信域与决策域分层。

自动驾驶车群（Cooperative Vehicle Fleets）。单车智能（单车摄像头 + 雷达 + 高精地图）在 99% 的常见场景下足够，但在三类长尾场景中失效：交叉路口盲区、匝道合流、雨雾遮挡下的前车急刹。V2X（Vehicle-to-Everything）通信允许多车共享感知（Cooperative Perception, CP）与意图协商（Cooperative Driving Automation, CDA）。BMW 在 2023 年的 Highway Pilot 中测试了 5 辆车的编队行驶，使用 ETSI ITS-G5 协议栈在 5.9 GHz 频段以 10 Hz 频率广播 CAM（Cooperative Awareness Message）；联合感知视距从单车 200 米扩展到车队视角 1.5 公里。MAS 在此的角色是意图层博弈——每辆车以轨迹规划（trajectory planning）作为"动作"，通过 V2X 广播候选轨迹，车队协同求解一个 Stackelberg 博弈的最优反应链。3GPP 在 Release 16 中将 V2X 纳入 5G NR-V2X 规范，使延迟要求压低到 3 ms 量级。

量化交易（Quantitative Trading Swarms）。高频交易公司面临的核心问题是"市场冲击（market impact）"——单个大单拆得太细则错失时机，拆得太粗则推高价格。Xpress 7、Jump Trading、Citadel Securities 等机构的执行算法（Execution Algorithm）已将决策主体从单一交易员扩展到多智能体调度：(a) 宏观策略 Agent 根据因子模型给出仓位调整意图；(b) 执行 Agent 决定下单时间表；(c) 风险 Agent 监控头寸集中度与回撤；(d) 对手建模 Agent 估计其他基金的抢单行为（detecting predatory algorithms）。这是一个典型的非完全信息博弈，多个 Agent 之间的协同必须通过限价单（Limit Order Book, LOB）的公共状态隐式实现，而不是显式消息。这一约束催生了 *Stealth Coordination* 研究——如何在不触发其他参与者警觉的前提下完成队内协作。

去中心化自治组织（Decentralized Autonomous Organization, DAO）。DAO 是 MAS 在组织治理域的极端抽象——成员是具有独立经济动机的"人类 Agent"，通过链上智能合约编码决策规则，行为由代币投票与多签钱包自动执行。MakerDAO、Uniswap、Aave 等头部协议管理的资金规模均超过 10 亿美元级别。DAO 的 MAS 视角与传统工程截然不同：参与者既可能是诚实合作者也可能是女巫攻击者（Sybil attacker）