强化学习导论：从游戏到通用智能 / Introduction to Reinforcement Learning: From Games to General Intelligence

强化学习导论：从游戏到通用智能

1.1 引言：当机器开始学习决策

人类智能的核心能力之一是决策能力——在复杂环境中选择最优行动以达成目标。这种能力看似简单，却涵盖了感知、理解、推理、规划等多个认知环节的协同工作。从远古时代人类学习狩猎技巧，到现代人学习驾驶汽车、制定商业策略，决策能力始终是智能的核心体现。那么，机器是否也能学会做决策？如果能够赋予机器自主决策的能力，它是否能够像人类一样，在与环境的交互中不断学习和改进？

这些问题引导我们进入了强化学习（Reinforcement Learning，RL）的研究领域。强化学习是机器学习的一个重要分支，它研究的是智能体（agent）如何在环境中通过试错学习最优决策策略。与监督学习（从标注数据中学习）和无监督学习（从无标注数据中发现模式）不同，强化学习强调的是智能体与环境的持续交互，通过获得的奖励或惩罚信号来指导行为学习。这种学习范式更接近于人类和动物的自然学习方式——通过行动的后果来学习。

强化学习的发展历程充满了戏剧性的突破与转折。从20世纪50年代Bellman创立动态规划方法，到80年代Watkins提出Q-learning算法，再到21世纪10年代深度强化学习在Atari游戏和围棋领域的突破性成功，强化学习逐步从一个理论框架发展成为一种具有广泛应用前景的实用技术。特别是2016年AlphaGo战胜围棋世界冠军李世石这一标志性事件，不仅展示了强化学习在复杂策略游戏中的巨大潜力，更向公众揭示了人工智能在决策制定方面的惊人能力。

本章将建立强化学习的基本概念框架，为后续章节的深入讨论奠定基础。我们将从智能体与环境交互的核心机制出发，阐述强化学习问题的数学形式化表达，介绍其与其他机器学习范式的本质区别。通过迷宫导航和棋类游戏这两个典型案例，我们将具体分析延迟奖励和探索-利用权衡等核心挑战。最后，我们将回顾强化学习发展的关键里程碑，展望其未来发展方向。

1.2 智能体与环境的交互机制

1.2.1 强化学习的基本框架

强化学习的基本框架可以用一个简洁的交互模型来描述：智能体-环境交互模型（Agent-Environment Interaction Model）。在这一模型中，智能体（agent）是学习者和决策者，它能够感知环境状态并采取行动；环境（environment）是智能体所处的外部世界，它能够根据智能体的行动发生状态转移，并给予智能体即时的奖励反馈。

这一交互过程以离散的时步（time step）为基本单位进行。在每个时步$t$，系统处于某种状态（state），记为$s_t \in \mathcal{S}$，其中$\mathcal{S}$表示所有可能状态的集合。智能体根据当前状态选择一个动作（action），记为$a_t \in \mathcal{A}(s_t)$，其中$\mathcal{A}(s_t)$表示在状态$s_t$下所有可选动作的集合。环境接收这个动作后，状态发生转移，从$s_t$变为$s_{t+1}$，同时智能体获得一个奖励（reward）信号$r_{t+1} \in \mathcal{R}$。智能体的目标是通过学习，找到一个策略（policy）$\pi$，使得从长期来看获得的累积奖励最大化。

```mermaid graph TB subgraph 智能体 Agent A1[感知状态 s_t] A2[选择动作 a_t] A3[学习更新] end

subgraph 环境 Environment E1[状态 s_t] E2[执行动作转移] E3[输出奖励 r_t+1] end

A1 --> A2 A2 -->|动作 a_t| E2 E2 -->|新状态 s_t+1| A1 E3 -->|奖励 r_t+1| A3 A3 -->|策略改进| A2 ```

上述交互过程的数学描述可以用马尔可夫决策过程（Markov Decision Process，MDP）来形式化定义。一个MDP由四元组$(\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R})$组成：

• $\mathcal{S}$：状态空间（State Space），包含所有可能的环境状态
• $\mathcal{A}$：动作空间（Action Space），包含所有可能的智能体动作
• $\mathcal{P}$：状态转移函数（Transition Function），$\mathcal{P}(s'|s,a) = \Pr(s_{t+1}=s'|s_t=s, a_t=a)$，描述在状态$s$下执行动作$a$后转移到状态$s'$的概率
• $\mathcal{R}$：奖励函数（Reward Function），$r(s,a,s')$或$r(s,a)$，描述状态转移产生的即时奖励

MDP的关键假设是马尔可夫性质（Markov Property）：给定当前状态和动作，未来状态的条件概率分布仅取决于当前状态和动作，而与历史状态序列无关。这一假设极大地简化了决策问题的复杂度，使得我们可以用递归的方式分析和求解最优策略。

1.2.2 回报与值函数

智能体的目标不是最大化单步即时奖励，而是最大化长期累积奖励。我们将这种长期累积奖励称为回报（return），记为$G_t$，定义为：

$$G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$

其中，$\gamma \in [0, 1]$是折扣因子（discount factor），它刻画了未来奖励相对于即时奖励的重要性。折扣因子越接近0，智能体越注重即时奖励；折扣因子越接近1，智能体越注重长期回报。当$\gamma = 1$时，回报是各步奖励的简单求和，要求总奖励序列收敛才有意义。

引入折扣因子有多个实际考量。首先，它避免了无穷回报的发散问题，使得即使环境交互持续无限，总回报也能保持有限值。其次，折扣因子体现了时间偏好的自然假设——人类和动物通常更偏好即时奖励而非延迟奖励，这在经济学和心理学中被称为时间不一致性（time inconsistency）。最后，在许多实际应用中，环境本身可能具有有限时域或周期性特征，折扣因子提供了一种灵活的方式来平衡即时与延迟奖励。

值函数（value function）是强化学习中的核心概念，它量化了状态或状态-动作对的好坏程度。状态值函数（state-value function）$V^\pi(s)$表示在状态$s$下遵循策略$\pi$的期望回报：

$$V^\pi(s) = \mathbb{E}_\pi [G_t | S_t = s] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} \middle| S_t = s \right]$$

动作值函数（action-value function）$Q^\pi(s,a)$表示在状态$s$下执行动作$a$后遵循策略$\pi$的期望回报：

$$Q^\pi(s,a) = \mathbb{E}_\pi [G_t | S_t = s, A_t = a] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} \middle| S_t = s, A_t = a \right]$$

值函数之间存在一个重要的递归关系，即贝尔曼方程（Bellman Equation）：

$$V^\pi(s) = \sum_{a} \pi(a|s) \sum_{s'} \mathcal{P}(s'|s,a) \left[ \mathcal{R}(s,a,s') + \gamma V^\pi(s') \right]$$

这一方程将值函数分解为即时奖励和后续状态的折扣值两部分，揭示了强化学习中延迟奖励的本质——当前决策的价值不仅取决于即时奖励，还取决于后续状态的价值评估。贝尔曼方程是几乎所有强化学习算法的理论基础。

最优值函数（optimal value function）定义为所有策略中值函数的最大值：

$$V^*(s) = \max_\pi V^\pi(s), \quad Q^*(s,a) = \max_\pi Q^\pi(s,a)$$

相应地，最优策略（optimal policy）$\pi^*$是能够达到最优值函数的策略。强化学习的最终目标是找到这个最优策略，使得智能体在任何状态下都能做出最优决策。

1.2.3 策略与策略梯度

策略（policy）$\pi$是智能体行为的核心，它定义了从状态到动作的映射。策略可以是确定性的（deterministic），记为$a = \pi(s)$，表示在每个状态下选择唯一的动作；也可以是随机的（stochastic），记为$\pi(a|s)$，表示在每个状态下以一定概率分布选择动作。

在深度强化学习中，我们通常用神经网络来参数化策略函数。参数化策略记为$\pi_\theta(a|s)$或$\pi_\theta(s)$，其中$\theta$是神经网络的参数。参数化策略的优势在于能够处理高维、连续的状态和动作空间，以及复杂的非线性策略结构。

策略梯度（policy gradient）方法是一类直接在参数空间优化策略的强化学习算法。这类方法的核心思想是利用梯度上升来最大化期望累积奖励：

$$\theta_{t+1} = \theta_t + \alpha \nabla_\theta J(\theta_t)$$

其中，$J(\theta_t)$是目标函数，通常取为初始状态的期望回报或平均回报，$\alpha$是学习率，$\nabla_\theta J(\theta_t)$是策略梯度。策略梯度定理（Policy Gradient Theorem）给出了梯度的解析形式：

$$\nabla_\theta J(\pi_\theta) = \mathbb{E}_{s \sim d_{\pi_\theta}, a \sim \pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) \cdot Q^{\pi_\theta}(s,a) \right]$$

这一结果表明，策略梯度的估计可以通过采样来实现，而不需要对环境模型有完整了解。REINFORCE算法、Actor-Critic算法等都是基于这一理论发展起来的重要方法。

1.3 迷宫问题：强化学习的入门案例

1.3.1 问题描述与建模

迷宫导航是理解强化学习基本概念的经典案例。考虑一个简单的网格世界（grid world）迷宫，智能体的任务是找到从起点到终点的最短路径，同时避开障碍物和陷阱。

假设迷宫是一个$5 \times 5$的网格，每个格子代表一个状态。智能体在每个格子可以采取四个动作：上、下、左、右。如果智能体撞到墙壁，它会保持在原位置。每次到达目标格子，智能体获得+1的奖励；掉入陷阱获得-1的奖励；其他情况奖励为0。智能体的目标是最大化到达目标的总奖励。

这一MDP可以形式化定义如下：

• **状态空间**：$\mathcal{S} = \{(i,j) | i,j \in \{0,1,2,3,4\}\}$，共25个状态
• **动作空间**：$\mathcal{A} = \{\text{up}, \text{down}, \text{left}, \text{right}\}$，共4个动作
• **状态转移**：确定性转移，除非撞墙或到达边界
• **奖励函数**：$r(s, a, s') = +1$ if $s' = \text{goal}$，$r(s, a, s') = -1$ if $s' = \text{trap}$，否则$r(s, a, s') = 0$

```mermaid graph LR subgraph 迷宫网格 G0["(0,0) 起点"] G1["(0,1)"] G2["(0,2) 陷阱"] G3["(0,3)"] G4["(0,4) 终点"] G5["(1,0)"] G6["(1,1) 墙"] G7["(1,2) 墙"] G8["(1,3)"] G9["(1,4)"] end

G0 -->|"右"| G1 G1 -->|"右"| G2 G2 -->|"右"| G3 G3 -->|"右"| G4 G0 -->|"下"| G5 G5 -->|"右"| G6 G6 -->|"右"| G7 G7 -->|"右"| G8 G8 -->|"上"| G4

style G2 fill:#ff6b6b style G6 fill:#c0c0c0 style G7 fill:#c0c0c0 style G4 fill:#51cf66 style G0 fill:#74c0fc ```

1.3.2 延迟奖励与信用分配问题

迷宫问题生动地展示了强化学习的核心挑战之一：延迟奖励（delayed reward）问题。在迷宫导航中，智能体只有到达目标格子才能获得正奖励。这意味着，从起点到终点的整个路径上，智能体在中间每一步都只能获得零奖励。只有当智能体最终到达目标时，它才能知道自己之前的决策是正确的。

这引出了一个关键问题：信用分配（credit assignment）问题——当智能体获得最终奖励时，如何判断这一奖励应该归功于路径上的哪一步决策？直观地说，离目标更近的状态-动作对应该承担更多的信用，而远离目标的决策则承担较少的信用。贝尔曼方程通过递归计算提供了解决这一问题的数学框架：每个状态的价值等于其即时奖励加上后续状态的折扣价值。通过迭代计算值函数，智能体能够将最终奖励的信用逐步向前传播，分配给路径上的每一步决策。

延迟奖励使得强化学习问题变得复杂，因为智能体需要在缺乏即时反馈的情况下学习。一种朴素的方法是穷举所有可能的路径，但这种方法在实际问题中往往不可行，因为状态空间和动作空间的组合数可能呈指数级增长。强化学习算法通过值函数估计、策略改进等技术，在延迟奖励的条件下高效地找到近似最优策略。

1.3.3 探索-利用权衡

迷宫问题的另一个核心挑战是探索-利用权衡（exploration-exploitation trade-off）。为了学习最优策略，智能体需要尝试各种不同的动作以发现潜在的更好选择（探索，exploration）；但同时，智能体也应该利用已知信息，选择目前认为最好的动作以获得更高的即时奖励（利用，exploitation）。

考虑一个具体的例子。假设智能体从起点出发，发现向右移动是安全的，奖励为零。根据当前的经验，智能体可能倾向于继续向右探索。但最优策略可能是向下走才能更快到达目标。如果智能体一直选择“利用”策略（向右），就永远无法发现更好的策略。

$\epsilon$-贪心（$\epsilon$-greedy）策略是处理探索-利用权衡的经典方法。智能体以概率$1-\epsilon$选择当前最优动作（利用），以概率$\epsilon$随机选择动作（探索）。$\epsilon$的值可以根据学习阶段调整——初期设置较大的$\epsilon$以鼓励探索，后期逐渐减小以侧重利用。这种退火策略（annealing strategy）在理论和实践上都表现出良好的性能。

Softmax策略是另一种常用的探索策略。它根据动作的值函数计算每个动作被选择的概率，高值动作被选择的概率更高，但低值动作也有非零概率被选中：

$$\pi(a|s) = \frac{\exp(Q(s,a)/\tau)}{\sum_{a'} \exp(Q(s,a')/\tau)}$$

其中，$\tau$是温度参数，控制探索的程度。$\tau$越大，探索程度越高；$\tau$越小，利用程度越高。

1.3.4 基于Q学习的小迷宫求解

Q学习（Q-learning）是解决迷宫问题的经典无模型（model-free）强化学习算法。它直接学习最优动作值函数，而不依赖于环境模型。Q学习的更新公式为：

$$Q(s,a) \leftarrow Q(s,a) + \alpha \left[ r + \gamma \max_{a'} Q(s',a') - Q(s,a) \right]$$

其中，$\alpha$是学习率，$r$是即时奖励，$s'$是下一状态。Q学习是一种时间差分（temporal difference，TD）方法，它结合了蒙特卡洛采样和动态规划的思想。

以下是一个简单的Q学习实现示例：

```python import numpy as np

class MazeQLearning: def __init__(self, env, alpha=0.1, gamma=0.95, epsilon=0.1): self.env = env self.alpha = alpha # 学习率 self.gamma = gamma # 折扣因子 self.epsilon = epsilon # 探索率 self.Q = np.zeros((env.n_states, env.n_actions))

def choose_action(self, state): """ε-贪心策略选择动作""" if np.random.random() < self.epsilon: return np.random.randint(self.env.n_actions) return np.argmax(self.Q[state])

def update(self, state, action, reward, next_state, done): """Q学习更新""" if done: target = reward else: target = re