引言：强化学习的范式、历史与全书架构

强化学习（Reinforcement Learning, RL）作为机器学习的重要分支，致力于研究智能体（Agent）如何通过与复杂环境的持续交互来学习最优行为策略。其核心思想源于人类及动物通过试错（trial-and-error）积累经验的本能——婴儿学习走路、玩家掌握电子游戏、棋手精进技艺，无一不是强化学习过程的生动体现。与依赖大量标注数据的监督学习不同，强化学习智能体仅能获得关于行为后果的稀疏奖励信号，却需在漫长的时间序列中做出连续决策，从而在不确定的动态环境中达成长期目标。这种“从交互中学习”的范式，使其成为通向通用人工智能（Artificial General Intelligence, AGI）的关键路径之一，并在AlphaGo击败人类顶尖棋手、机器人完成精细操作、自动驾驶系统应对复杂路况等里程碑事件中展现了革命性潜力。本书将系统性地展开深度强化学习的理论体系与工程实践，而本章作为全书的开篇，旨在厘清强化学习的基本范式、追溯其历史脉络、审视核心挑战，并为后续章节构建清晰的逻辑框架。

1.1 强化学习的核心范式：马尔可夫决策过程

强化学习问题的数学本质可形式化为马尔可夫决策过程（Markov Decision Process, MDP）。MDP提供了一个抽象的框架，用以描述智能体在不确定环境中进行序贯决策的交互循环。在这一框架下，环境被建模为一个满足马尔可夫性质的动态系统：下一状态的概率分布仅依赖于当前状态和智能体采取的动作，而与更早的历史无关。这种性质极大地简化了问题的建模与分析，成为强化学习理论大厦的基石。

1.1.1 智能体与环境的交互循环

强化学习的核心是智能体-环境交互循环（Agent-Environment Interaction Loop）。在每个时间步 $t$，智能体观察环境当前所处的状态 $s_t \in \mathcal{S}$（其中 $\mathcal{S}$ 为状态空间），基于其策略 $\pi(a|s)$（给定状态 $s$ 下选择动作 $a \in \mathcal{A}$ 的概率分布）选择一个动作 $a_t$。动作作用于环境，环境根据状态转移概率 $P(s_{t+1}|s_t, a_t)$ stochastic地转移到新状态 $s_{t+1}$，同时向智能体反馈一个标量奖励 $r_{t+1} = R(s_t, a_t, s_{t+1})$。智能体的目标是学习一个策略 $\pi$，以最大化从当前时刻开始直至终止的累积折扣奖励，即回报 $G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$，其中 $\gamma \in [0,1]$ 为折扣因子，用于权衡即时奖励与未来奖励的重要性。这一交互循环持续进行，直至环境达到终止状态或达到预设的最大步数。下图直观展示了这一循环：

```mermaid graph LR A[智能体<br/>观察状态 s_t] --> B[选择动作 a_t<br/>依据策略 π] B --> C[环境<br/>执行动作] C --> D[转移至新状态 s_{t+1}<br/>产生奖励 r_{t+1}] D --> A ```

该循环具有几个关键特征：序列性（当前决策影响未来状态与奖励）、延迟反馈（动作的后果可能在多步之后才显现）、探索-利用困境（智能体需在尝试新动作以发现更高奖励与执行已知高奖励动作之间权衡）。

1.1.2 状态、动作与奖励的数学定义

一个标准的MDP由五元组 $\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 精确定义：

• **状态空间** $\mathcal{S}$：环境所有可能状态的集合。状态可以是完全可观测的（如棋盘局面），也可能是部分可观测的（如扑克牌局中仅知自身手牌）。
• **动作空间** $\mathcal{A}$：智能体所有可能动作的集合。动作空间可以是离散的（如迷宫中的四个移动方向）或连续的（如机器人关节扭矩）。
• **状态转移概率** $P: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow [0,1]$：$P(s'|s,a)$ 表示在状态 $s$ 采取动作 $a$ 后转移到状态 $s'$ 的概率。转移概率隐含了环境的动力学模型。
• **奖励函数** $R: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \rightarrow \mathbb{R}$：$R(s,a,s')$ 为转移过程中获得的即时奖励。在有限MDP中，奖励通常被定义为状态或状态-动作对的函数，即 $R(s)$ 或 $R(s,a)$。
• **折扣因子** $\gamma$：$\gamma \in [0,1]$，用于将未来奖励折现至当前价值。当 $\gamma=0$ 时，智能体只关注即时奖励；当 $\gamma \rightarrow 1$ 时，智能体更重视长期回报。

在实际问题中，智能体通常不知道 $P$ 和 $R$ 的具体形式，这正是“无模型”（model-free）强化学习算法要解决的核心问题。

1.1.3 策略与价值函数：学习的目标

强化学习的终极目标是寻找一个最优策略 $\pi^*$，使得从任意状态 $s$ 开始的期望回报最大化。为此，引入了两个核心概念：状态价值函数 $V^\pi(s)$ 和动作价值函数 $Q^\pi(s,a)$，它们分别衡量在策略 $\pi$ 下，从状态 $s$ 开始（或从状态 $s$ 采取动作 $a$ 后）的长期累积期望回报：

$$ V^\pi(s) = \mathbb{E}_\pi \left[ G_t \mid s_t = s \right] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} \mid s_t = s \right] $$

$$ Q^\pi(s,a) = \mathbb{E}_\pi \left[ G_t \mid s_t = s, a_t = a \right] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k r_{t+k+1} \mid s_t = s, a_t = a \right] $$

最优价值函数 $V^*(s)$ 和 $Q^*(s,a)$ 定义为所有策略中价值函数的点上确界：

$$ V^*(s) = \max_{\pi} V^\pi(s), \quad Q^*(s,a) = \max_{\pi} Q^\pi(s,a) $$

最优策略 $\pi^*$ 可通过从最优动作价值函数 greedily 推导：对于确定性策略，$\pi^*(s) = \arg\max_a Q^*(s,a)$；对于随机策略，$\pi^*(a|s) = 1$ 当 $a = \arg\max_a Q^*(s,a)$，否则为0。

价值函数满足贝尔曼方程（Bellman Equation），它建立了当前价值与未来价值之间的递归关系。对于最优状态价值函数：

$$ V^*(s) = \max_{a \in \mathcal{A}} \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ R(s,a,s') + \gamma V^*(s') \right] $$

类似地，最优动作价值函数满足：

$$ Q^*(s,a) = \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ R(s,a,s') + \gamma \max_{a'} Q^*(s',a') \right] $$

贝尔曼方程是绝大多数强化学习算法（如动态规划、Q-learning、策略梯度）的理论基础。其直观含义是：当前状态（或状态-动作对）的最优价值等于“即时奖励 + 折扣后的下一状态最优价值”的期望最大值。这一递归结构使得我们可以通过迭代方式逼近最优价值函数，进而导出最优策略。

1.2 与监督学习、无监督学习的本质区别

强化学习常被视为机器学习三大范式之一，但与监督学习和无监督学习存在根本性差异。理解这些差异是把握强化学习独特性的关键。

1.2.1 监督学习：有导师的精确映射

监督学习（Supervised Learning）处理的是有标签的静态数据集 $\mathcal{D} = \{(x_i, y_i)\}_{i=1}^N$，其中 $x_i$ 为输入特征，$y_i$ 为对应的标签（输出）。学习目标是通过调整模型参数 $\theta$，最小化预测值 $\hat{y}_i = f_\theta(x_i)$ 与真实标签 $y_i$ 之间的损失函数 $\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^N \ell(\hat{y}_i, y_i)$。其本质是学习一个从输入到输出的确定性映射，假设数据独立同分布（i.i.d.），且反馈是即时、精确的：每个输入样本都配有明确的“正确答案”。

典型算法包括线性回归、支持向量机、深度神经网络。监督学习在图像分类、语音识别、机器翻译等领域取得巨大成功，但其依赖大量高质量标注数据，且难以处理需要长期规划或与动态环境交互的任务。

1.2.2 无监督学习：无导师的结构发现

无监督学习（Unsupervised Learning）处理无标签数据 $\mathcal{D} = \{x_i\}_{i=1}^N$，目标是从数据中发现内在结构、模式或表示。主要任务包括聚类（将数据分组，如K-means）、降维（压缩数据保留关键信息，如PCA）、密度估计（学习数据分布，如变分自编码器）。与监督学习不同，无监督学习没有外部提供的“目标”，而是通过设计数据本身的统计特性（如相似性、重构误差）来引导学习过程。它常被用作监督学习的预处理步骤，以学习更好的特征表示。

1.2.3 强化学习：延迟奖励下的序贯决策

强化学习则处于一个完全不同的范式。其核心特征可总结如下：

| 维度 | 监督学习 | 无监督学习 | 强化学习 | |------|----------|------------|----------| | 学习信号 | 标签（输入-输出对） | 无标签，依赖数据内在结构 | 标量奖励（稀疏、延迟、可能含噪声） | | 数据假设 | 独立同分布（i.i.d.） | 数据分布 | 序贯决策，环境动态（状态转移） | | 目标 | 最小化预测误差 | 发现模式/学习表示 | 最大化长期累积折扣奖励 | | 反馈延迟 | 即时（每个样本） | 无显式反馈 | 延迟（动作后果可能在多步后显现） | | 探索需求 | 无（数据已给定） | 无（数据已给定） | 核心挑战：需主动探索未知状态/动作 | | 典型算法 | 神经网络、SVM、决策树 | 聚类、PCA、自编码器 | Q-learning、策略梯度、Actor-Critic | | 评估方式 | 测试集准确率 | 聚类纯度、重构误差 | 平均回报、样本效率、泛化能力 |

强化学习的独特性在于其交互性与时间性：智能体必须通过与环境试错来收集数据，且当前动作不仅影响即时奖励，还通过改变环境状态影响未来所有奖励。这种信用分配（Credit Assignment）问题——如何将最终的成功或失败归因于漫长序列中的具体动作——是监督和无监督学习所不面临的根本挑战。此外，奖励信号的稀疏性（如仅在游戏胜利时获得正奖励）和部分可观测性（如仅知局部视野）进一步加剧了学习难度。

一个生动的类比是：监督学习如同学生做选择题，每道题有标准答案供对照；无监督学习如同学生自行整理笔记，发现知识点间的联系；而强化学习则如同学生在真实世界中通过尝试不同行动来学习生存技能，仅能通过“疼痛”或“愉悦”等模糊信号判断行动好坏，且需要为长期后果负责。

1.3 历史演进：从动态规划到深度强化学习

强化学习的思想渊源可追溯至心理学中的行为主义理论（如Thorndike的效果律）和控制论，但其数学体系的建立与算法的发展经历了数十年演进。以下按关键时期划分里程碑：

3.1 奠基期：动态规划与蒙特卡洛方法（1950s-1980s）

动态规划（Dynamic Programming, DP）为MDP求解提供了理论基础。Richard Bellman在1950年代提出贝尔曼方程和最优性原理，奠定了离散时间最优控制的基础。DP算法（如策略迭代、值迭代）假设已知环境模型（$P$和$R$），通过迭代应用贝尔曼方程来精确计算最优价值函数。然而，DP面临“维数灾难”：当状态空间巨大时，存储和计算价值函数变得不可行。

蒙特卡洛方法（Monte Carlo, MC）在1940-50年代因核物理模拟而兴起，后被引入强化学习。MC方法无需环境模型，直接通过完整序列（episode）的采样回报来估计状态价值：$V(s) \approx \text{平均回报}(s)$。由于基于实际采样，MC可处理大状态空间，但需等待episode结束才能更新，且对非终止任务不直接适用。

时序差分学习（Temporal Difference, TD）由Barto、Sutton等在1980年代提出，巧妙结合了DP的bootstrapping（自举）与MC的采样特性。TD学习在每一步后即可更新，无需等待episode结束，且不依赖环境模型。最简单的TD(0)更新规则为：$V(s_t) \leftarrow V(s_t) + \alpha [r_{t+1} + \gamma V(s_{t+1}) - V(s_t)]$，其中误差项 $r_{t+1} + \gamma V(s_{t+1}) - V(s_t)$ 称为TD误差。TD(λ)进一步引入资格迹（eligibility trace）实现多步回溯。Sutton的《强化学习导论》（1998）系统总结了这一时期的成果，成为领域经典教材。

3.2 算法突破：无模型控制（1989-1998）

1989年，Chris Watkins提出Q-learning，这是强化学习史上首个真正意义上的无模型控制算法。Q-learning直接学习最优动作价值函数 $Q^*(s,a)$，其更新规则为：

$$ Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha \left[ r_{t+1} + \gamma \max_{a'} Q(s_{t+1}, a') - Q(s_t,a_t) \right] $$

Q-learning的关键特性是异策略（off-policy）：它可以从任意行为策略（如ε-greedy）产生的数据中学习最优策略，无需数据来自目标策略本身。这极大提高了数据利用率。1992年，Rummery和Niranjan提出SARSA（State-Action-Reward-State-Action），其更新使用实际采取的下一个动作 $a_{t+1}$ 而非最大动作：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha [r_{t+1} + \gamma Q(s_{t+1}, a_{t+1}) - Q(s_t,a_t)]$。SARSA是同策略（on-policy）的，通常更保守。Q-learning和SARSA成为离散动作空间无模型控制的基石，被广泛应用于简单控制问题、迷宫求解等。

3.3 函数近似时代：线性与核方法（1990s-2010）

当状态空间连续或巨大时，表格型方法（tabular method）因无法存储所有状态-动作对而失效。函数近似（Function Approximation）使用参数化函数（如线性函数、神经网络、支持向量机）来估计价值函数或策略：$Q(s,a;\mathbf{w}) \approx Q^\pi(s,a)$，其中 $\mathbf{w}$ 为参数向量。

1990年代，线性函数近似成为主流：$Q(s,a;\mathbf{w}) = \mathbf{w}^\top \phi(s,a)$，$\phi(s,a)$ 为手工设计的特征向量（如多项式特征）。这使算法能泛化到未见状态，但不稳定性问题凸显：非线性环境中的序列相关数据可能导致TD学习发散。针对此，策略梯度方法（Policy Gradient）在1990s后期得到发展，直接参数化策略 $\pi_\theta(a|s)$，通过梯度上升优化期望回报 $\mathbb{E}[G_t]$。REINFORCE算法（Williams, 1992）是早期代表，但其高方差限制了应用。

Actor-Critic架构结合了值函数估计（Critic）与策略优化（Actor），成为后续主流。Actor负责选择动作，Critic评估动作价值以减少策略梯度的方差。Konda和Tsitsiklis（2000）提出了理论保证的Actor-Critic框架。

3.4 深度强化学习的爆发（2013-至今）

2013年，DeepMind的Volodymyr Mnih等人发表DQN（Deep Q-Network）论文，将

1.3.4 深度强化学习的爆发与范式扩散（2013-2020）

2013年，DeepMind的Volodymyr Mnih等人发表的DQN（Deep Q-Network）论文，标志着深度强化学习时代的真正开启。该工作首次成功将深度卷积神经网络与Q-learning结合，直接从高维像素输入（Atari 2600游戏的原始屏幕画面）学习控制策略，在49个游戏中超越人类专业玩家水平。DQN的两项核心技术贡献解决了深度Q学习的稳定性难题：

1. 经验回放（Experience Replay）：将智能体交互产生的元组 $(s_t, a_t, r_{t+1}, s_{t+1}, done)$ 存储于固定大小的回放缓冲区中，训练时随机采样小批量数据。这打破了数据间的时序相关性，使数据近似满足i.i.d.假设，稳定了梯度更新。 2. 目标网络（Target Network）：为计算TD目标 $r_{t+1} + \gamma \max_{a'} Q(s_{t+1}, a'; \mathbf{w}^-)$，使用一个独立的目标网络（参数 $\mathbf{w}^-$）而非主网络（参数 $\mathbf{w}$）。目标网络定期从主网络复制参数，或缓慢更新（so