强化学习概论 / Introduction to Reinforcement Learning

想象一只宠物狗学习新把戏的过程：主人发出指令"坐下"，如果狗狗正确执行，它会得到奖励（零食或表扬）；如果执行失败，则没有奖励。经过多次尝试和反馈，狗狗逐渐学会将"坐下"这个动作与正面奖励关联起来，最终能够可靠地响应主人的指令。这个看似简单的学习过程，恰恰蕴含了强化学习的核心思想——通过与环境（主人）的交互，通过奖励信号（零食/表扬）的反馈，学习最优的行为策略（如何正确响应指令）。强化学习（Reinforcement Learning，RL）正是研究这类问题的学科：智能体（Agent）如何在未知环境中通过试错学习最优决策策略，以最大化长期累积奖励。

强化学习作为机器学习的重要分支，与监督学习和无监督学习并称为机器学习的三大范式。与后两者不同，强化学习强调智能体与环境的交互学习，通过延迟的奖励信号来指导行为决策。这种学习范式与人类和动物的自然学习过程高度相似——我们并非通过阅读说明书来学习骑自行车，而是通过反复尝试、感受平衡、调整动作，最终在一次次失败中掌握这项技能。正是这种与真实世界交互学习的能力，使得强化学习在人工智能领域占据独特地位，成为通向通用人工智能的关键技术之一。

强化学习的核心在于智能体与环境的持续交互。智能体感知当前环境状态，根据策略选择动作，环境则反馈新的状态和即时奖励，这个交互循环构成了强化学习的基本范式。智能体的目标是学习一个能够最大化长期累积奖励的最优策略。这个过程可以用数学语言严格描述为马尔可夫决策过程（Markov Decision Process，MDP），它是强化学习的理论基础。MDP的形式化定义包括五元组$(S, A, P, R, \gamma)$：$S$表示状态空间，$A$表示动作空间，$P: S \times A \times S \to [0, 1]$是状态转移概率函数，$R: S \times A \to \mathbb{R}$是奖励函数，$\gamma \in [0, 1]$是折扣因子。这个数学框架为理解和分析强化学习问题提供了坚实的理论基础。

在强化学习的框架中，智能体（Agent）是学习与决策的主体，它根据当前状态选择动作并从环境中接收反馈；环境（Environment）是智能体外部的所有事物，它根据智能体的动作产生状态转移和奖励信号；状态（State）表示环境在某一时刻的完整信息描述，是智能体做出决策的依据；动作（Action）是智能体可以执行的行为选择，它会影响环境的未来状态；奖励（Reward）是环境对智能体动作的即时反馈，用于指导智能体的学习方向。这五个要素共同构成了强化学习的基本框架。理解这些要素之间的关系对于掌握强化学习至关重要。智能体通过与环境交互获得经验，这些经验被用于改进智能体的决策策略，而策略的改进又会影响未来的交互，形成一个持续改进的循环。

为了更直观地理解强化学习的基本要素和交互过程，考虑一个经典的迷宫导航问题（Grid World）。假设有一个5×5的网格世界，智能体的目标是找到一个从左上角到右下角的最优路径。每一步智能体可以选择上、下、左、右四个动作之一。如果智能体到达目标位置，获得+1的奖励；如果撞到墙壁，则保持在原位置并获得-0.1的奖励；其他情况下，每移动一步获得-0.01的惩罚（鼓励智能体尽快到达目标）。智能体的任务是学习一个策略，使得从任意位置出发都能以最少的步数到达目标。

```python import numpy as np

class GridWorld: """A simple grid world environment for demonstrating RL concepts."""

def __init__(self, width=5, height=5, goal_state=(4, 4)): self.width = width self.height = height self.goal_state = goal_state self.start_state = (0, 0) self.current_state = self.start_state self.actions = ['up', 'down', 'left', 'right'] self.action_map = { 'up': (-1, 0), 'down': (1, 0), 'left': (0, -1), 'right': (0, 1) }

def reset(self): self.current_state = self.start_state return self.current_state

def step(self, action): """Execute an action and return (next_state, reward, done)."""

Map action to movement

dx, dy = self.action_map[action] x, y = self.current_state

Calculate new position

new_x = max(0, min(self.width - 1, x + dx)) new_y = max(0, min(self.height - 1, y + dy))

self.current_state = (new_x, new_y)

Check if goal reached

if self.current_state == self.goal_state: return self.current_state, 1.0, True else: return self.current_state, -0.01, False

def render(self): """Visualize the current state.""" for i in range(self.height): row = "" for j in range(self.width): if (i, j) == self.current_state: row += "A " elif (i, j) == self.goal_state: row += "G " else: row += ". " print(row) print() ```

这个简单的例子展示了强化学习中所有核心要素的交互：智能体（我们训练的策略）需要在环境（5×5网格）中根据状态（当前位置）选择动作（移动方向），并从环境获得奖励反馈（到达目标为正奖励，其他为负奖励）。通过反复的交互，智能体逐渐学会最优策略——从任意位置出发都能找到最短路径到达目标。

强化学习与其他机器学习方法有着本质的区别。监督学习（Supervised Learning）从标注数据中学习，每个样本都配有正确的标签，学习目标是让模型预测尽可能接近标签；无监督学习（Unsupervised Learning）在无标签数据中发现隐藏结构，典型任务包括聚类和降维。与这两种方法相比，强化学习具有独特的学习范式：它通过与环境交互进行在线学习，没有固定的训练数据集，智能体需要主动探索环境并从延迟的奖励信号中学习。这种学习方式特别适合序贯决策问题——每个决策不仅影响即时收益，还影响未来的状态和机会。

从数据生成方式的角度来看，三种学习范式的差异更为明显。监督学习假设训练数据独立同分布（i.i.d.），即每个样本的分布不随时间变化；无监督学习同样基于这一假设。而强化学习的数据是通过智能体与环境的交互产生的，数据的分布取决于智能体当前采用的策略。当智能体改进其策略时，数据分布也会发生变化，这种特性被称为非稳态性（Non-stationarity）。这种数据分布的变化带来了额外的挑战，使得强化学习的学习过程更加复杂。

更重要的是，强化学习面临两个核心挑战：探索与利用的权衡（Exploration-Exploitation Trade-off）以及时间信用分配问题（Temporal Credit Assignment Problem）。这两个挑战是强化学习区别于其他机器学习方法的关键特征，也是设计高效强化学习算法时必须解决的核心问题。

探索与利用的权衡是强化学习中最基本的问题之一。智能体必须在两种策略之间做出选择：利用（Exploitation）意味着选择当前已知能够带来最高期望奖励的动作，遵循"已知最好"的原则；探索（Exploration）则意味着选择未尝试或了解较少的动作，以发现可能存在的更高奖励。纯粹的利用策略会让智能体陷入局部最优，无法发现潜在的更高奖励；纯粹的探索策略则会导致智能体浪费大量时间在低奖励的动作上，无法有效学习。

这个权衡可以用数学语言精确描述。设$Q(a)$为动作$a$的估计价值，智能体需要在贪婪动作$\arg\max_a Q(a)$和随机动作之间做出选择。$\epsilon$-贪心策略以概率$\epsilon$选择随机动作，以概率$1-\epsilon$选择贪婪动作：

$$a_t = \begin{cases} \arg\max_a Q(a), & \text{with probability } 1-\epsilon \\ \text{random action}, & \text{with probability } \epsilon \end{cases}$$

折扣累积回报$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$是强化学习中的核心概念，其中$\gamma \in [0, 1]$是折扣因子，决定了未来奖励的重要性。$\epsilon$和$\gamma$的选择直接影响智能体的探索-利用平衡和长期收益。较小的$\epsilon$倾向于利用已知信息，而较大的$\epsilon$促进探索未知动作。

时间信用分配问题关注的是：当智能体获得最终结果（成功或失败）时，如何确定序列中各个动作对这个结果的贡献程度。在迷宫中，智能体可能需要数百步才能到达目标或失败。在漫长的探索过程中，哪几步是关键的？哪几步是无关紧要的？这种将最终结果的影响分配给中间动作的问题，被称为时间信用分配问题或延迟奖励问题。

考虑一个极端的例子：智能体在迷宫中走了999步都没有撞墙，但在第1000步撞墙了。这一步的撞墙导致智能体未能到达目标。我们应该惩罚所有1000步，还是只惩罚最后一步？直觉告诉我们，应该惩罚的是那些导致撞墙的动作，但问题是，在撞墙之前的999步中，智能体可能已经在错误的方向上积累了问题。强化学习的核心挑战在于：奖励信号通常在时间上是延迟的，智能体需要在没有即时反馈的情况下学习长期策略。

为解决这一问题，研究者们提出了多种方法。价值函数方法，如Q-learning，通过学习状态-动作对的价值来估计长期奖励，从而解决延迟奖励问题。策略梯度方法，如REINFORCE，通过梯度上升直接优化长期累积奖励的期望。蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）通过前瞻模拟来评估动作的长期价值。深度强化学习结合深度神经网络来近似价值函数或策略函数，能够处理高维状态空间的问题。

探索-利用权衡可以通过多种策略来平衡。$\epsilon$-贪心策略在每一步以小概率$\epsilon$进行随机探索，以大概率$1-\epsilon$选择当前最优动作。UCB（Upper Confidence Bound）方法则通过置信上界来平衡探索与利用：

$$a_t = \arg\max_a \left( \hat{Q}(a) + c \sqrt{\frac{\ln t}{N_t(a)}} \right)$$

其中$\hat{Q}(a)$是动作价值的估计，$N_t(a)$是动作$a$被选择的次数，$c$是探索常数。Thompson采样则通过概率分布来建模动作价值的不确定性，在每一步从后验分布中采样价值估计并选择最优动作。这些方法各有优缺点，适用于不同的应用场景。

深度强化学习中，探索策略的设计更加复杂。噪声网络（Noisy Networks）通过在网络参数中加入噪声来增加输出的随机性。熵正则化方法在优化目标中加入策略熵项$\mathbb{H}(\pi)$，鼓励策略保持多样性。内在动机（Intrinsic Motivation）方法为探索行为提供额外的内在奖励，基于好奇心或信息增益等原则。这些方法能够有效地促进智能体探索未知状态，发现更优的策略。

时间信用分配问题的解决方法同样多样。资格迹（Eligibility Traces）通过追踪最近访问的状态-动作对来加速学习，结合了蒙特卡洛方法和时序差分方法的优点。奖励塑形（Reward Shaping）通过设计更密集的中间奖励来缓解稀疏奖励问题，将最终目标分解为多个子目标。层次强化学习（Hierarchical RL）通过引入高层策略和子目标来解决长期信用分配问题，将复杂任务分解为可管理的子任务。

强化学习的数学框架建立在马尔可夫决策过程（MDP）之上。MDP的形式化定义为五元组$(S, A, P, R, \gamma)$，其中$S$是状态空间，$A$是动作空间，$P(s'|s, a)$是从状态$s$执行动作$a$后转移到状态$s'$的概率，$R(s, a)$是执行动作$a$在状态$s$获得的奖励，$\gamma$是折扣因子。策略$\pi(a|s)$是从状态$s$选择动作$a$的概率分布。智能体的目标是找到最优策略$\pi^*$，最大化期望累积折扣奖励$\mathbb{E}[G_t]$。

MDP的核心假设是马尔可夫性质：未来状态只依赖于当前状态和动作，与过去的历史无关。这一假设虽然在实际应用中可能不完全成立，但大大简化了问题的复杂度，使得我们能够使用动态规划等方法来求解MDP。

价值函数是强化学习中的核心概念。状态价值函数$V^\pi(s)$表示从状态$s$开始，遵循策略$\pi$的期望累积折扣奖励：

$$V^\pi(s) = \mathbb{E}_\pi [G_t | S_t = s] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} | S_t = s \right]$$

动作价值函数$Q^\pi(s, a)$表示从状态$s$开始，执行动作$a$后遵循策略$\pi$的期望累积折扣奖励：

$$Q^\pi(s, a) = \mathbb{E}_\pi [G_t | S_t = s, A_t = a] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} | S_t = s, A_t = a \right]$$

这两个价值函数通过贝尔曼方程相互关联。状态价值函数的贝尔曼方程为：

$$V^\pi(s) = \sum_a \pi(a|s) \sum_{s'} P(s'|s, a) [R(s, a) + \gamma V^\pi(s')]$$

动作价值函数的贝尔曼方程为：

$$Q^\pi(s, a) = \sum_{s'} P(s'|s, a) \left[ R(s, a) + \gamma \sum_{a'} \pi(a'|s') Q^\pi(s', a') \right]$$

最优价值函数$V^*(s) = \max_\pi V^\pi(s)$和$Q^*(s, a) = \max_\pi Q^\pi(s, a)$满足贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} P(s'|s, a) [R(s, a) + \gamma V^*(s')]$$ $$Q^*(s, a) = \sum_{s'} P(s'|s, a) [R(s, a) + \gamma \max_{a'} Q^*(s', a')]$$

基于这些方程，研究者们发展出了多种求解最优策略的算法。

动态规划方法是求解MDP的经典方法。策略迭代（Policy Iteration）通过交替进行策略评估和策略改进来找到最优策略。策略评估计算当前策略的价值函数，策略改进则根据价值函数更新策略为贪婪策略。这个过程不断重复，直到策略不再变化。值迭代（Value Iteration）则是直接迭代更新价值函数，在每次迭代中对所有状态应用贝尔曼最优算子：

$$V_{k+1}(s) = \max_a \sum_{s'} P(s'|s, a) [R(s, a) + \gamma V_k(s')]$$

这些方法在状态空间较小且模型已知的情况下能够保证收敛到最优策略。

```python def value_iteration(env, num_iterations=100, threshold=1e-6, gamma=0.95): """Value iteration algorithm for finding optimal value function."""

Initialize value function

V = np.zeros((env.width, env.height)) policy = np.zeros((env.width, env.height), dtype=int)

for iteration in range(num_iterations): V_old = V.copy()

Update value function for all states

for i in range(env.width): for j in range(env.height): if (i, j) == env.goal_state: