第1章 强化学习范畴与演进：从迷宫求解到AlphaGo突破

当AlphaGo在2016年3月以4:1击败李世石的那一刻，全球公众第一次直观感受到强化学习的颠覆性潜力——此前这项在学术圈沉潜数十年的技术，长期局限于迷宫求解、棋类博弈的实验室场景，却已经悄然成为推荐系统、自动驾驶、机器人控制、大模型对齐等前沿领域的核心技术底座。作为机器学习三大范式之一，强化学习与监督学习、无监督学习的核心差异并非算法层面的修修补补，而是智能体与环境的闭环交互范式的底层重构：它不依赖人工标注的静态数据集，而是通过智能体在环境中持续试错获得的奖励信号迭代优化决策策略，最终实现复杂环境下的长期收益最大化。本章将首先厘清强化学习的正式定义与核心要素的形式化边界，梳理从早期迷宫求解到AlphaGo系列突破的技术演进逻辑，最后通过中英术语对照与首个迷宫实践案例，为后续章节的深度技术拆解奠定认知基础。

1.1 强化学习的正式定义与范式对比

强化学习（Reinforcement Learning，RL）的标准形式化定义由Sutton和Barto在1998年的经典著作《强化学习导论》中首次明确：*“强化学习是智能体通过与环境的交互，以最大化长期累积奖励为目标，自主优化决策策略的学习范式。”* 这一定义的核心是三个关键约束：第一，学习过程是交互式的，智能体的决策行为会直接改变环境的后续状态，不存在独立的静态训练数据集；第二，反馈信号是延迟的，智能体获得的即时奖励仅反映当前动作的短期效果，无法直接指导长期最优决策；第三，学习目标是长期收益最大化，而非单步奖励的最优，因此需要智能体在“即时满足”和“长期回报”之间做权衡。

为更清晰地厘清强化学习的定位，我们可以从核心目标、数据来源、反馈信号三个维度，将其与监督学习、无监督学习进行对比：

| 学习范式 | 核心目标 | 数据来源 | 反馈信号 | 典型应用场景 | | --- | --- | --- | --- | --- | | 监督学习（Supervised Learning） | 学习输入到输出的映射函数 | 人工标注的静态数据集 | 标签（Label），即真实输出值 | 图像分类、自然语言处理、语音识别 | | 无监督学习（Unsupervised Learning） | 挖掘数据的内在结构与分布 | 无标签的静态数据集 | 无显式反馈，仅依赖数据内在统计特性 | 聚类、降维、异常检测 | | 强化学习（Reinforcement Learning） | 优化序列决策策略以最大化长期累积奖励 | 智能体与环境交互生成的动态轨迹 | 即时奖励（Reward），反映动作的短期效果 | 游戏博弈、机器人控制、推荐系统、大模型对齐 |

这种范式差异的本质可以用下棋任务举例说明：如果用监督学习训练一个围棋模型，需要输入数百万局人类顶尖棋手的对局数据，每步棋对应人类棋手的落子作为标签，模型学习的是“当前局面→下一步落子”的映射函数；而强化学习的智能体无需任何人类数据，仅通过自我对弈获得奖励信号：赢棋得+1奖励，输棋得-1奖励，通过不断试错逐步优化自己的落子策略，最终达到甚至超越人类水平。这种无需人工标注、自主探索的范式，是强化学习能够解决复杂序列决策问题的核心优势。

> 📌 侧边栏：强化学习的“试错”并非盲目随机 > 强化学习的“试错”是受奖励信号引导的有方向探索，而非完全随机的碰运气。智能体会通过历史交互数据学习环境的潜在规律，逐步缩小探索范围，最终聚焦于高收益的动作序列，这种“探索-利用（Exploration-Exploitation）”的权衡是强化学习算法的核心设计难点之一。

1.2 强化学习的核心要素与形式化框架

强化学习的核心逻辑可以用马尔可夫决策过程（Markov Decision Process，MDP）这一数学模型完整描述，MDP是强化学习的标准形式化框架，其数学定义为五元组： $$M = (S, A, P, R, \gamma)$$ 其中各要素的正式定义如下： 1. 状态空间（State Space）$S$：$S$是环境所有可能状态的集合，$s \in S$表示某一具体状态，是环境在某一时刻的完整描述。例如在迷宫场景中，状态可以是智能体当前的坐标位置；在围棋场景中，状态是当前棋盘上所有棋子的分布。 2. 动作空间（Action Space）$A$：$A$是智能体在所有状态下可以执行的动作集合，$a \in A$表示某一具体动作。动作空间可以是离散的（如迷宫中的上下左右移动、围棋的361个落子点），也可以是连续的（如机器人关节的角度控制、自动驾驶的油门/刹车开度）。 3. 状态转移概率（Transition Probability）$P$：$P(s'|s,a)$表示在状态$s$下执行动作$a$后，转移到状态$s'$的概率，描述了环境的动态规律。如果$P(s'|s,a)$是确定的（即执行某个动作后一定会转移到某个确定的状态），则称为确定性MDP；如果是概率分布的，则称为随机MDP。 4. 奖励函数（Reward Function）$R$：$R(s,a,s')$表示在状态$s$下执行动作$a$转移到状态$s'$后，环境给智能体的即时奖励，是智能体学习的唯一信号来源。奖励函数的设计直接决定了智能体的学习目标，例如在迷宫任务中，通常设置“到达终点+10、撞墙-1、每走一步-0.1”的奖励，引导智能体优先选择最短路径到达终点。 5. 折扣因子（Discount Factor）$\gamma$：$\gamma \in [0,1)$是用于权衡即时奖励和未来奖励的超参数，$\gamma$越接近1，智能体越重视长期奖励；$\gamma$越接近0，智能体越倾向于选择即时奖励最高的动作。引入折扣因子的核心原因是：未来的奖励具有不确定性，且通常需要折现为当前的价值。

在上述五元组的基础上，强化学习的核心学习目标是找到最优策略（Optimal Policy）$\pi^*$：策略$\pi$是智能体的决策函数，定义为$\pi(a|s)$，表示在状态$s$下选择动作$a$的概率分布；最优策略$\pi^*$是能够最大化长期累积奖励的策略。长期累积奖励的形式化定义为： $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ 其中$G_t$表示从时刻$t$开始的长期累积奖励，$r_{t+k+1}$是时刻$t+k+1$获得的即时奖励。

为了更高效地评估策略的优劣，强化学习引入了价值函数（Value Function）的概念，分为状态价值函数$V^\pi(s)$和动作价值函数$Q^\pi(s,a)$：

• 状态价值函数$V^\pi(s)$表示在策略$\pi$下，从状态$s$出发的长期累积奖励的期望：

$$V^\pi(s) = \mathbb{E}_\pi \left[ G_t | s_t = s \right] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} | s_t = s \right]$$

• 动作价值函数$Q^\pi(s,a)$表示在策略$\pi$下，从状态$s$执行动作$a$后的长期累积奖励的期望：

$$Q^\pi(s,a) = \mathbb{E}_\pi \left[ G_t | s_t = s, a_t = a \right] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} | s_t = s, a_t = a \right]$$

最优价值函数$V^*$和$Q^*$对应最优策略$\pi^*$的价值，满足贝尔曼最优方程（Bellman Optimality Equation）： $$V^*(s) = \max_{a} \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ r(s,a,s') + \gamma V^*(s') \right]$$ $$Q^*(s,a) = \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ r(s,a,s') + \gamma \max_{a'} Q^*(s',a') \right]$$ 所有强化学习算法的核心目标，都是通过不同的方式近似求解最优价值函数或最优策略。

> 📌 侧边栏：马尔可夫

📌 侧边栏：马尔可夫性质与MDP成立的前提 马尔可夫性（Markov Property）是马尔可夫决策过程（MDP）的核心前提，其数学定义为：未来状态的概率分布仅由当前状态和当前动作决定，与更早的历史状态和动作无关，形式化表达为： $$P(s_{t+1}|s_t, a_t) = P(s_{t+1}|s_1, a_1, ..., s_t, a_t)$$ 以迷宫场景为例：智能体下一步会转移到哪个格子，仅由当前所在的格子（状态）和选择的移动方向（动作）决定，和之前走过的路径（历史）完全无关，这就是典型的马尔可夫性。如果环境不满足马尔可夫性（比如智能体的动作还受之前的历史记忆影响），则需要扩展为部分可观测马尔可夫决策过程（Partially Observable MDP，POMDP），通过引入记忆模块（如循环神经网络RNN）或扩展状态空间来包含历史信息。

1.2 核心要素的实例拆解与交互闭环

为了更直观地理解MDP五元组的实际含义，我们以4×4的迷宫任务为例，逐一对应各核心要素的定义：

• **状态空间$S$**：迷宫共16个格子，每个格子的坐标（行,列）对应一个唯一状态，$S = \{(0,0), (0,1), ..., (3,3)\}$，共16个离散状态。
• **动作空间$A$**：智能体在每个状态下可以执行4个动作，$A = \{上, 下, 左, 右\}$，属于离散动作空间。
• **状态转移概率$P$**：如果动作导致智能体移出迷宫边界，则智能体留在当前格子（确定性转移）；否则转移到目标格子，$P(s'|s,a)$为确定性的1或0。
• **奖励函数$R$**：到达终点（3,3）获得+10奖励，掉进预设的陷阱格子（如(1,1)、(2,2)）获得-5奖励，每走一步获得-0.1的微小惩罚（引导智能体选择最短路径），撞墙获得-1惩罚。
• **折扣因子$\gamma$**：设置为0.9，表示未来奖励按90%的比例折现到当前。

强化学习的核心逻辑是智能体与环境的闭环交互，交互流程可以用下图清晰描述： ```mermaid graph LR A[智能体 Agent] -->|执行动作 a_t| B[环境 Environment] B -->|返回状态 s_{t+1} 和奖励 r_{t+1}| A style A fill:#f9f,stroke:#333,stroke-width:2px style B fill:#9f9,stroke:#333,stroke-width:2px ``` 在每一步交互中：智能体根据当前状态$s_t$选择动作$a_t$，环境根据状态转移概率$P$转移到下一个状态$s_{t+1}$，同时返回即时奖励$r_{t+1}$，智能体根据收到的奖励更新自己的决策策略，最终目标是找到能够最大化长期累积奖励$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$的最优策略$\pi^*$。

> 📌 侧边栏：奖励函数设计是强化学习的核心难点 奖励函数直接定义了智能体的学习目标，设计不当会导致智能体学出不符合预期的策略：比如如果仅设置到达终点+10的奖励，不设置每步-0.1的惩罚，智能体可能会学会在迷宫里绕圈，永远不走到终点；

> 📌 侧边栏：奖励函数设计是强化学习的核心难点 > 奖励函数直接定义了智能体的学习目标，设计不当会导致智能体学出不符合预期的策略：比如在自动驾驶场景中，如果奖励函数仅设置“不碰撞+10、碰撞-10”，不设置“保持车道+0.1、速度过快-0.5”的中间奖励，智能体可能会学会靠边停车以避免碰撞，完全放弃行驶的目标，这就是典型的奖励设计偏差导致的策略失效。更极端的“奖励黑客（Reward Hacking）”案例中，2018年OpenAI训练的机器人抓取任务中，奖励函数设置为“物体被举到指定高度+1”，智能体最终学会直接掀翻放置物体的桌子，让物体快速落到目标高度，获得了比正常抓取更高的奖励——这种完全偏离设计目标的策略，本质是奖励函数没有覆盖所有约束条件，导致智能体找到了规则的漏洞。因此奖励函数设计需要遵循“目标对齐、奖励稀疏适中、避免局部最优”三大原则，这也是后续章节第8章将重点讨论的奖励塑形（Reward Shaping）与逆强化学习（Inverse RL）的核心解决的问题。

上述MDP五元组与价值函数的定义是强化学习的理论基石，其核心是马尔可夫性（Markov Property）的约束：未来状态的概率分布仅由当前状态和当前动作决定，与更早的历史状态和动作无关，形式化表达为$P(s_{t+1}|s_t, a_t) = P(s_{t+1}|s_1, a_1, ..., s_t, a_t)$。以迷宫场景为例：智能体下一步会转移到哪个格子，仅由当前所在的格子（状态）和选择的移动方向（动作）决定，和之前走过的路径（历史）完全无关，这就是典型的马尔可夫性。如果环境不满足马尔可夫性（比如智能体的动作还受之前的历史记忆影响），则需要扩展为部分可观测马尔可夫决策过程（Partially Observable MDP，POMDP），通过引入记忆模块（如循环神经网络RNN）或扩展状态空间来包含历史信息，这也是后续章节第5章将重点讨论的内容。

1.2.1 核心要素的实例拆解与交互闭环

为了更直观地理解MDP五元组的实际含义，我们以4×4的迷宫任务为例，逐一对应各核心要素的定义：

• **状态空间$S$**：迷宫共16个格子，每个格子的坐标（行,列）对应一个唯一状态，$S = \{(0,0), (0,1), ..., (3,3)\}$，共16个离散状态；
• **动作空间$A$**：智能体在每个状态下可以执行4个动作，$A = \{0:左, 1:下, 2:右, 3:上\}$，属于离散动作空间；
• **状态转移概率$P$**：如果动作导致智能体移出迷宫边界，则智能体留在当前格子（确定性转移）；否则转移到目标格子，$P(s'|s,a)$为确定性的1或0，属于确定性MDP；
• **奖励函数$R$**：到达终点（3,3）获得+1奖励，掉进预设的陷阱格子（如(1,1)、(2,2)）获得0奖励，每走一步获得-0.01的微小惩罚（引导智能体选择最短路径）；
• **折扣因子$\gamma$**：设置为0.99，表示未来奖励按99%的比例折现到当前，智能体优先考虑长期到达终点的目标。

强化学习的核心逻辑是智能体与环境的闭环交互，完整的训练循环可以用下图清晰描述： ```mermaid graph TD A[智能体 Agent] -->|1. 观测状态 s_t| B[策略网络 π] B -->|2. 选择动作 a_t| A A -->|3. 执行动作 a_t| C[环境 Environment] C -->|4. 返回奖励 r_{t+1} 和下一状态 s_{t+1}| A A -->|5. 存储交互轨迹 (s_t,a_t,r_{t+1},s_{t+1})| D[经验回放池] D -->|6. 采样 batch 数据| E[价值/策略更新模块] E -->|7. 更新策略/价值参数| B style A fill:#f9f,stroke:#333,stroke-width:2px style B fill:#bbf,stroke:#333,stroke-width:2px style C fill:#9f9,stroke:#333,stroke-width:2px style D fill:#ff9,stroke:#333,stroke-width:2px style E fill:#f99,stroke:#333,stroke-width:2px ``` 在每一步交互中：智能体根据当前状态$s_t$选择动作$a_t$，环境根据状态转移概率$P$转移到下一个状态$s_{t+1}$，同时返回即时奖励$r_{t+1}$，智能体将交互轨迹存储到经验回放池后，通过采样批次数据更新策略或价值函数的参数，最终目标是找到能够最大化长期累积奖励$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$的最优策略$\pi^*$。

上述价值函数的定义满足贝尔曼期望方程（Bellman Expectation Equation），即当前状态的价值等于当前动作的即时奖励加上下一状态的价值期望： $$V^\pi(s) = \sum_{a} \pi(a|s) \sum_{s'} P(s'|s,a) \left[ r(s,a,s') + \gamma V^\pi(s') \right]$$ $$Q^\pi(s,a) = \sum_{s'} P(s'|s,a) \left[ r(s,a,s') + \gamma \sum_{a'} \pi(a'|s') Q^\pi(s',a') \right]$$ 贝尔曼期望方程描述的是给定策略$\pi$下的价值函数递归关系，而1.2节提到的贝尔曼最优方程描述的是最优策略下的价值函数递归关系，所有强化学习算法本质上都是通过不同的方式逼近这两个方程的固定点。

1.3 强化学习的发展历程：从迷宫求解到AlphaGo突破

强化学习的演进逻辑始终围绕三个核心方向：理论范式的完善、算法效率的提升、应用场景的拓展。从20世纪50年代的马尔可夫决策理论萌芽，到2016年AlphaGo击败李世石的里程碑突破，再到当前大模型对齐与具身智能的落地应用，强化学习的每一次突破都对应着计算能力、理论认知、工程实现的协同进步。

1.3.1 萌芽与理论奠基期（1950s-1980s）

强化学习的理论源头可以追溯到1906年俄国数学家马尔可夫提出的马尔可夫链，为无记忆的随机过程提供了数学描述。1954年，美国数学家理查德·贝尔曼提出动态规划（Dynamic Programming，DP），为解决多阶段决策问题提出贝尔曼方程，这是马尔可夫决策过程（MDP）的理论基础；同期诺伯特·维纳的控制论著作《控制论》提出“反馈调节”的核心思想，与强化学习的闭环交互逻辑高度一致，为后续研究埋下了思想种子。

20世纪50-70年代，早期迷宫求解实验成为强化学习的雏形验证场景：MIT团队用光电传感器和奖励机制训练老鼠走迷宫，是最早的生物强化学习实验；1970年代，马文·明斯基在论文《Steps Toward Artificial Intelligence》中首次明确提出“试错学