强化学习概述：智能体的学习之旅

第 1 章：强化学习概述：智能体的学习之旅

想象一下，你第一次学习骑自行车时的场景。没有人会给你一本详细的操作手册，告诉你“在角度小于30度时，将把手向左转15度”这样的精确指令。相反，你是通过一次又一次的尝试，在无数次摔倒和重新站起的过程中，逐渐掌握了平衡的技巧。每一次摔倒都是一次痛苦的“惩罚”，每一次顺利前行都是一次愉悦的“奖励”，而正是这种基于尝试与反馈的循环，最终让你成为了一个能够自由骑行的“智能体”。

这个学习骑自行车的过程，恰恰完美地诠释了强化学习的核心思想：智能体通过与环境的交互，从不断的尝试中学习如何做出最优决策，以最大化累积奖励。强化学习不像传统编程那样需要明确的规则编写，也不像监督学习那样需要大量标注好的输入输出对，它更像是一种“从经验中学习”的范式——智能体通过与环境互动，观察结果，调整策略，最终学会完成复杂任务的能力。

1.1 强化学习的基本定义

强化学习（Reinforcement Learning，简称RL）是机器学习的一个重要分支，它专注于研究智能体（Agent）如何在不确定的环境中进行决策，使得某种数值意义上的长期累积奖励最大化。与监督学习需要大量标注数据不同，强化学习强调在与环境的交互中学习，这种学习方式更接近于人类和动物通过试错进行学习的过程。

1.1.1 核心概念：智能体与环境

在强化学习的框架中，存在两个最基本的主体：智能体（Agent） 和 环境（Environment）。智能体是能够感知环境状态并采取行动的学习者和决策者，它可以是一个游戏中的AI角色，一个自动驾驶汽车控制系统，或者一个机器人。环境则是智能体所处的外部世界，它能够根据智能体的动作给出反馈，包括状态的变化和奖励信号。

智能体与环境之间形成了持续不断的交互循环。这个循环的基本模式是：智能体首先观察环境的当前状态，然后根据这个状态选择一个动作；环境接收这个动作后会发生相应的变化，产生新的状态，并给予智能体一个奖励信号；智能体根据这个反馈调整自己的策略，然后继续观察新状态，做出下一个动作。这个过程循环往复，直到任务完成或达到某个终止条件。

举一个具体的例子来帮助理解。假设我们有一个能够自主导航的清洁机器人，它的任务是在一间办公室中自主移动并完成清洁工作。在这个场景中，智能体就是清洁机器人本身，而环境就是办公室空间。机器人的传感器帮助它感知周围环境，这些感知信息构成了它的“状态”；机器人可以执行的行动包括前进、后退、左转、右转、启动清洁模式等；环境则会根据机器人的行动给出反馈——如果机器人撞到了障碍物，它可能会获得一个负奖励（惩罚）；如果机器人成功地清洁了一片区域，它会获得一个正奖励；而机器人最终是否高效地完成了整个办公室的清洁工作，决定了它获得的累积奖励大小。

1.1.2 状态、动作与奖励

深入理解强化学习，需要我们精确把握三个核心概念：状态（State）、动作（Action） 和 奖励（Reward）。

状态是对智能体所处环境的一种完整描述或表示。在理想情况下，状态应该包含智能体做出最优决策所需的全部信息。状态可以是离散的，比如棋盘游戏中的棋盘布局；也可以是连续的，比如机器人相对于目标位置的角度和速度。在实际应用中，我们通常需要设计合适的状态表示方法，使得智能体能够从状态中提取出对决策有用的信息。状态空间（State Space）指的是所有可能状态的集合，通常用符号 $\mathcal{S}$ 来表示。如果智能体在某个时刻 $t$ 处于状态 $s_t$，那么 $s_t \in \mathcal{S}$。

动作是智能体在给定状态下可以执行的行为选择。动作空间（Action Space）指的是智能体在任意状态下所有可能动作的集合，用符号 $\mathcal{A}$ 来表示。与状态类似，动作空间也可以是离散的或连续的。例如，在超级玛丽游戏中，智能体可能只有几个离散的选项（向左走、向右走、跳跃、不动）；而对于一个机械臂的控制，动作可能是连续的角度或力度变化。动作 $a_t$ 是智能体在时刻 $t$ 从动作空间 $\mathcal{A}$ 中选择的具体行为。

奖励是环境对智能体动作的即时反馈信号，它告诉智能体这个动作在当前状态下的好坏程度。奖励是一个标量数值，通常用 $r_t$ 表示。在标准的强化学习设定中，智能体的目标是最大化累积奖励（Cumulative Reward），而不是单步奖励的最大化。奖励的设计是强化学习任务成功的关键因素之一，因为它直接影响智能体学习到的策略质量。一个设计良好的奖励函数应该能够鼓励智能体完成预期的任务目标，同时避免产生不良行为。

强化学习的数学框架可以追溯到20世纪50年代由理查德·贝尔曼（Richard Bellman）提出的马尔可夫决策过程（Markov Decision Process，MDP）。在MDP框架下，智能体与环境的交互可以用以下数学语言描述：

• 状态空间：$\mathcal{S}$，表示所有可能状态的集合
• 动作空间：$\mathcal{A}$，表示所有可能动作的集合
• 状态转移概率：$P(s'|s, a)$，表示在状态 $s$ 下执行动作 $a$ 后转移到状态 $s'$ 的概率
• 奖励函数：$R(s, a, s')$ 或 $R(s, a)$，表示状态转移产生的奖励
• 折扣因子：$\gamma \in [0, 1]$，用于计算累积奖励时平衡即时奖励和远期奖励的重要性

智能体在与环境交互的过程中获得一系列的回报（Return），定义为：

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

这个公式中的折扣因子 $\gamma$ 起到了重要作用。当 $\gamma$ 接近1时，智能体更重视远期的累积收益；当 $\gamma$ 接近0时，智能体更关注即时的奖励。折扣因子的选择通常取决于具体任务的特性——对于需要长期规划的任务，我们倾向于使用较大的 $\gamma$ 值。

1.1.3 策略与价值函数

在理解了状态、动作和奖励之后，我们需要进一步理解强化学习中另外两个核心概念：策略（Policy） 和 价值函数（Value Function）。

策略定义了智能体在给定状态下的行为方式，它是智能体决策的核心。策略本质上是一个从状态到动作的映射，可以是确定性的，也可以是随机的。确定性策略表示为 $\pi(s) = a$，即在状态 $s$ 下总是选择动作 $a$；随机策略表示为 $\pi(a|s) = P(a|s)$，即在状态 $s$ 下选择动作 $a$ 的概率。策略是强化学习的核心输出，我们训练智能体的最终目的就是找到一个能够最大化累积奖励的最优策略，用 $\pi^*$ 表示。

价值函数是对未来累积奖励的预测，它评估在给定状态下（或给定状态-动作对下），遵循某个策略 $\pi$ 能够获得的期望累积回报。价值函数分为两种类型：

1. 状态价值函数（State Value Function）：$V^\pi(s)$，表示从状态 $s$ 开始，遵循策略 $\pi$ 的期望累积回报： $$V^\pi(s) = \mathbb{E}_\pi [G_t | S_t = s] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} | S_t = s \right]$$

2. 动作价值函数（Action Value Function）：$Q^\pi(s, a)$，表示在状态 $s$ 下执行动作 $a$，然后遵循策略 $\pi$ 的期望累积回报： $$Q^\pi(s, a) = \mathbb{E}_\pi [G_t | S_t = s, A_t = a] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} | S_t = s, A_t = a \right]$$

这两个价值函数之间存在重要的数学关系：$V^\pi(s) = \sum_a \pi(a|s) Q^\pi(s, a)$，即状态价值等于在该状态下所有动作的加权平均动作价值。

对于最优策略 $\pi^*$，我们有对应的最优状态价值函数 $V^*$ 和最优动作价值函数 $Q^*$。$V^*$ 满足贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} P(s'|s, a) [R(s, a, s') + \gamma V^*(s')]$$

这个方程的含义是：最优状态价值等于在所有可能的动作中，选择能够带来最大“即时奖励加上下一个状态最优价值”期望的动作所对应的值。贝尔曼最优方程是理解强化学习算法如何工作的数学基础。

1.2 迷宫导航：一个直观的强化学习示例

为了更直观地理解强化学习的核心思想，让我们通过一个经典的迷宫导航问题来展示智能体是如何通过与环境交互来学习最优策略的。

考虑一个简单的 $5 \times 5$ 网格世界迷宫。智能体（我们用一个圆点表示）从左上角的起始位置出发，目标是到达右下角的出口（用金色方块表示）。智能体在每个格子可以执行四个动作：上、下、左、右移动。当智能体碰到墙壁时，它会保持在原位置。迷宫中还有几个陷阱格子（用红色方块表示），如果智能体踏入陷阱，它会被扣分。

```mermaid graph TD subgraph 迷宫网格 A1["(0,0)<br/>起点"] -->|右| A2["(0,1)"] A2 -->|右| A3["(0,2)"] A3 -->|右| A4["(0,3)"] A4 -->|右| A5["(0,4)"] A5 -->|下| B5["(1,4)"] B5 -->|下| C5["(2,5)<br/>陷阱"] C5 -->|左| C4["(2,4)"] C4 -->|左| C3["(2,3)<br/>陷阱"] C3 -->|下| D3["(3,3)"] D3 -->|下| E3["(4,3)"] E3 -->|右| E4["(4,4)<br/>出口"] end style A1 fill:#90EE90 style E4 fill:#FFD700 style C5 fill:#FF6B6B style C3 fill:#FF6B6B ```

在初始阶段，智能体对迷宫一无所知。它只能通过与环境交互来逐渐学习。假设我们设定如下的奖励机制：

• 每走一步，获得 -1 的奖励（这鼓励智能体尽快到达出口）
• 到达出口，获得 +100 的奖励
• 踏入陷阱，获得 -100 的奖励

智能体的学习过程可以描述如下：

第一阶段：随机探索。智能体刚开始时可能随机选择动作。在这个阶段，智能体可能会成功地找到出口，也可能多次踏入陷阱。无论结果如何，每一次尝试（称为一个回合，Episode）都会给智能体提供宝贵的经验。智能体开始了解某些状态-动作对可能会导致好的结果，而另一些则可能导致不好的结果。

第二阶段：利用经验。随着探索的进行，智能体开始形成对不同状态价值的估计。它可能开始倾向于选择那些历史上带来较高奖励的动作。例如，如果从某个格子向右走多次都成功避开了陷阱，那么智能体会逐渐倾向于在那个状态下选择右移动作。

第三阶段：平衡探索与利用。这是强化学习中最关键的挑战之一。智能体必须在“利用（Exploitation）”已有知识（选择已知能带来高奖励的动作）和“探索（Exploration）”新选择（尝试可能带来更高奖励的未知动作）之间找到平衡。过度利用会导致智能体陷入次优策略，而过度探索则会降低学习效率。著名的ε-贪心策略（ε-greedy）就是一种常用的平衡方法：智能体以概率 $1-\epsilon$ 选择当前认为最优的动作，以概率 $\epsilon$ 随机选择一个动作。

第四阶段：收敛到最优策略。经过足够多的探索和经验积累，智能体的价值函数估计会逐渐收敛到真实值，策略也会逐步演化为最优策略。此时，智能体应该能够从任意起始位置出发，选择一条最短且安全的路径到达出口。

```python

迷宫环境示例代码

class MazeEnvironment: """简化的迷宫环境类"""

def __init__(self, grid_size=5): self.grid_size = grid_size self.start = (0, 0) self.goal = (grid_size - 1, grid_size - 1) self.traps = [(2, 4), (2, 2)] self.current_state = self.start

def reset(self): """重置环境，返回初始状态""" self.current_state = self.start return self.current_state

def step(self, action): """ 执行动作，返回 (next_state, reward, done) action: 0=上, 1=下, 2=左, 3=右 """ row, col = self.current_state

根据动作计算新位置

if action == 0: # 上 new_row = max(0, row - 1) new_state = (new_row, col) elif action == 1: # 下 new_row = min(self.grid_size - 1, row + 1) new_state = (new_row, col) elif action == 2: # 左 new_col = max(0, col - 1) new_state = (row, new_col) elif action == 3: # 右 new_col = min(self.grid_size - 1, col + 1) new_state = (row, new_col)

计算奖励

if new_state in self.traps: reward = -100 done = True elif new_state == self.goal: reward = 100 done = True else: reward = -1 # 每步惩罚，鼓励快速到达 done = False

self.current_state = new_state return new_state, reward, done

def render(self): """可视化当前环境状态""" for i in range(self.grid_size): row_str = "" for j in range(self.grid_size): if (i, j) == self.current_state: row_str += "[🤖] " elif (i, j) == self.goal: row_str += "[🏆] " elif (i, j) in self.traps: row_str += "[💀] " else: row_str += "[ ] " print(row_str) print()

使用示例

env = MazeEnvironment() state = env.reset() env.render()

执行几个动作

actions = [3, 3, 1, 3, 1, 3] # 右、右、下、右、下、右 for action in actions: next_state, reward, done = env.step(action) print(f"动作: {'上' if action==0 else '下' if action==1 else '左' if action==2 else '右'}") print(f"奖励: {reward}") env.render() if done: print("回合结束!") break ```

这个迷宫示例虽然简单，但它清晰地展示了强化学习的核心要素和交互模式。在后续章节中，我们将看到更复杂的算法如何处理这类问题，例如Q学习（Q-Learning）和深度Q网络（DQN）等方法。

1.3 强化学习与其他机器学习范式的对比

要全面理解强化学习，我们需要将它与机器学习的其他两种主要范式——监督学习和无监督学习——进行对比分析。每种范式都有其独特的优势和适用场景，理解它们之间的区别有助于我们判断何时应该选择强化学习方法。

1.3.1 监督学习与强化学习的区别

监督学习（Supervised Learning） 是机器学习中最常见的范式，其核心是从标注好的训练数据中学习输入与输出之间的映射关系。在监督学习中，我们有一个包含输入特征和对应正确标签的训练数据集，学习算法通过最小化预测输出与真实标签之间的损失来优化模型。图像