强化学习导论：范式、术语与历史

强化学习（Reinforcement Learning, RL）是机器学习中专注于研究智能体（Agent）如何通过与动态环境（Environment）的序列交互来学习最优行为策略的范式。其核心目标是在长期时间维度上最大化累积奖励（Cumulative Reward），而非像监督学习那样拟合静态数据集中的输入-输出映射，或无监督学习那样挖掘数据内在结构。这一范式天然契合现实世界中大量需要序贯决策的场景：从机器人导航到金融交易，从游戏对弈到工业控制，智能体必须在状态（State）不完全可知、动作（Action）后果延迟显现、且环境动力学（Dynamics）未知或复杂的情况下，通过试错（Trial-and-Error）逐步优化策略（Policy）。本章将系统构建强化学习的理论基石，厘清其与监督学习、无监督学习的本质区别，梳理从动态规划到AlphaZero的关键历史脉络，并概述本书的写作框架与读者定位。

1.1 强化学习的基本范式：智能体与环境的交互循环

强化学习的本质是一个马尔可夫决策过程（Markov Decision Process, MDP） 框架下的序贯决策问题。在此框架中，智能体与环境的交互遵循离散或连续的时间步（Time Step）展开，形成一个闭环反馈系统。在每一时刻 $t$，智能体观测到环境的状态 $s_t \in \mathcal{S}$（其中 $\mathcal{S}$ 为状态空间），基于当前策略 $\pi(a|s)$ 选择一个动作 $a_t \in \mathcal{A}$（$\mathcal{A}$ 为动作空间），环境随即响应，转移到新状态 $s_{t+1}$ 并产生即时奖励（Instantaneous Reward）$r_{t+1} \in \mathbb{R}$。交互循环可形式化描述为： $$ s_t \xrightarrow{\text{智能体选择 } a_t \sim \pi(\cdot|s_t)} a_t \xrightarrow{\text{环境动力学}} (s_{t+1}, r_{t+1}) $$ 这一过程的核心挑战在于：奖励信号通常是稀疏（Sparse）、延迟（Delayed） 且噪声（Noisy） 的。例如，在围棋对局中，智能体（棋手）仅在棋局结束时（数百步之后）才获得胜负奖励（+1/-1），而中间每一步的“好坏”缺乏即时标注。因此，强化学习算法必须解决信用分配（Credit Assignment） 问题——如何将最终的累积奖励回溯归因于历史上的一系列动作。

为了直观理解，考虑经典的网格世界（Grid World） 示例：一个 $5\times5$ 的网格中，智能体从左上角起点出发，每次可向上、下、左、右移动一格。某些格子是“陷阱”（移动后扣 5 分），终点格子奖励 +10 分，其余格子每步奖励 0 分。智能体的目标是学习一条从起点到终点的路径，以最大化总得分。在此简化模型中，状态 $s$ 是智能体的坐标 $(x,y)$，动作 $a \in \{\text{上,下,左,右}\}$，奖励函数 $r(s,a,s')$ 由目标格子决定。尽管模型简单，它已蕴含强化学习的核心要素：状态转移的不确定性（如陷阱位置随机）、动作的长期影响（绕开陷阱虽增加短期步数但避免惩罚），以及稀疏奖励（仅终点和陷阱有非零奖励）。

```mermaid graph TD A[智能体观测状态 s_t] --> B[根据策略 π 选择动作 a_t] B --> C[环境执行动作] C --> D[环境转移至新状态 s_{t+1}] D --> E[环境返回奖励 r_{t+1}] E --> A ```

核心概念精确定义

• **智能体 (Agent)**：学习与决策的主体，通过策略 $\pi$ 映射状态到动作（或动作概率分布）。在参数化方法中，策略常由神经网络 $\pi_\theta$ 表示，$\theta$ 为可学习参数。
• **环境 (Environment)**：智能体之外的所有部分，遵循**环境动力学（Environment Dynamics）**，通常建模为状态转移概率 $P(s'|s,a)$ 和奖励函数 $R(s,a,s')$。在部分可观测环境中，智能体仅能获取观测值 $o_t$，而非完整状态 $s_t$，形成**部分可观测马尔可夫决策过程（POMDP）**。
• **状态 (State)** 与 **观测 (Observation)**：状态 $s_t$ 是描述环境在时刻 $t$ 的完整信息（在 MDP 假设下，未来与过去条件独立）；观测 $o_t$ 是智能体实际接收到的信号，可能受噪声或遮挡影响。例如，在自动驾驶中，状态包括所有车辆、行人的精确位置与速度，而观测可能仅为摄像头图像与激光雷达点云。
• **动作 (Action)**：智能体在状态 $s_t$ 下可执行的操作。动作空间可以是**离散（Discrete）**（如棋类游戏中的落子位置）或**连续（Continuous）**（如机器人关节力矩控制）。动作选择策略可以是**确定性（Deterministic）** $\mu(s)$ 或**随机性（Stochastic）** $\pi(a|s)$。
• **奖励 (Reward)**：环境对智能体动作的即时数值反馈，定义目标函数的核心。奖励函数设计是强化学习工程中的关键艺术——设计不当可能导致智能体学习到“钻空子”的伪最优策略（例如，在游戏中反复触发某个 bug 获取无限奖励）。
• **策略 (Policy)**：智能体的行为准则，是从状态（或观测）到动作的映射。策略优化是强化学习的核心任务，分为**值函数方法（Value-based）**（间接优化，如 Q-learning）和**策略梯度方法（Policy Gradient）**（直接优化，如 REINFORCE）。
• **回报 (Return)** 与 **价值 (Value)**：回报 $G_t$ 是未来奖励的累积，通常采用**折扣（Discounting）** 形式：$G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$，其中 $\gamma \in [0,1]$ 是折扣因子，平衡即时与未来奖励的重要性。**状态价值函数** $V^\pi(s) = \mathbb{E}_\pi[G_t|s_t=s]$ 衡量在策略 $\pi$ 下从状态 $s$ 开始的期望回报；**动作价值函数** $Q^\pi(s,a) = \mathbb{E}_\pi[G_t|s_t=s, a_t=a]$ 衡量在状态 $s$ 下执行动作 $a$ 后的期望回报。最优价值函数 $V^*, Q^*$ 对应最优策略 $\pi^*$ 的价值。
• **探索 (Exploration)** 与 **利用 (Exploitation)**：探索指尝试新动作以获取环境信息，利用指执行当前已知最优动作以获取奖励。两者存在根本性权衡：过度利用可能导致陷入局部最优，过度探索则可能无法收敛。经典探索策略包括 $\epsilon$-贪婪、汤普森采样、上置信界（UCB）等。

1.2 与其他机器学习范式的对比

强化学习常与监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）并列为机器学习三大范式，但其问题设定、数据生成机制与目标函数存在本质差异。

| 维度 | 监督学习 | 无监督学习 | 强化学习 | |------|----------|------------|----------| | 数据 | 静态、独立同分布（i.i.d.）数据集 $(x_i, y_i)$ | 无标签数据 $\{x_i\}$ | 动态交互序列 $\{(s_t, a_t, r_{t+1}, s_{t+1})\}$ | | 反馈信号 | 完整、准确的标签 $y$ | 无显式反馈 | 稀疏、延迟、噪声奖励 $r$ | | 目标 | 最小化预测误差（如交叉熵、均方误差） | 发现数据内在结构（如聚类、降维） | 最大化长期累积奖励 $\mathbb{E}[\sum \gamma^t r_t]$ | | 数据分布 | 训练/测试同分布 | 训练/测试同分布 | 训练中策略改变导致数据分布非平稳（Non-stationary） | | 时间维度 | 无显式时间依赖 | 无显式时间依赖 | 核心是序贯决策，时间依赖性强 | | 信用分配 | 每个样本标签直接对应输入 | 不涉及 | 需将最终奖励回溯到历史动作 | | 典型算法 | 深度神经网络、支持向量机 | K-means、自编码器 | Q-learning、策略梯度、Actor-Critic |

关键洞见：监督学习可视为强化学习在“每一步都有即时奖励且奖励等于标签”的特殊情况，但强化学习的奖励稀疏性、环境动力学未知性、以及数据非平稳性（策略更新改变后续数据分布）使其更具挑战性。无监督学习则更关注表示学习，而强化学习关注决策优化。三者并非互斥，现代系统常融合三者：例如，用自监督学习从像素中提取特征（无监督），再用强化学习优化策略（强化），或在仿真环境中训练（监督学习用于动力学模型）。

1.3 历史里程碑：从表格方法到深度学习革命

强化学习的思想可追溯至心理学中的行为主义理论（如Thorndike的“效果律”），但作为计算范式，其发展紧密耦合于动态规划、时序差分学习与深度学习的演进。

1.3.1 奠基期（1950s-1980s）：动态规划与贝尔曼方程

强化学习的数学基础源于动态规划（Dynamic Programming, DP）。1957年，Richard Bellman提出贝尔曼最优方程（Bellman Optimality Equation），为马尔可夫决策过程提供了递归求解框架： $$ V^*(s) = \max_a \mathbb{E}[r + \gamma V^*(s')|s,a] $$ 该方程表明，最优状态价值等于“当前即时奖励 + 下一状态最优价值的期望”。DP方法（如策略迭代、值迭代）要求已知完整的环境动力学 $P(s'|s,a)$ 和 $R(s,a,s')$，属于模型（Model-based） 方法。然而，对于大规模或未知环境，DP因“维度灾难”而不可行。

1.3.2 表格方法时代（1980s-2010s）：无模型学习兴起

当环境动力学未知时，无模型（Model-free） 方法成为主流。核心突破是时序差分学习（Temporal Difference Learning, TD），由Sutton在1988年系统提出。TD学习结合了蒙特卡洛方法的采样与DP的 bootstrapping（自举）思想，仅需采样轨迹即可更新价值估计。关键算法包括：

• **TD(0)**：$V(s_t) \leftarrow V(s_t) + \alpha [r_{t+1} + \gamma V(s_{t+1}) - V(s_t)]$，其中 $\alpha$ 为学习率。
• **SARSA**（State-Action-Reward-State-Action）：on-policy 的 TD 控制算法，更新 $Q(s_t,a_t)$。
• **Q-learning**（ Watkins, 1992）：off-policy 的 TD 控制算法，$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha [r_{t+1} + \gamma \max_a Q(s_{t+1},a) - Q(s_t,a_t)]$，直接逼近最优动作价值 $Q^*$。

这一时期，表格（Tabular） 方法主导：状态与动作空间离散且规模有限，价值函数以表格形式存储。1992年，Watkins 证明 Q-learning 在满足一定条件下收敛至 $Q^*$。1995年，Rummery 与 Sut**on 提出 SARSA(λ)，引入资格迹（Eligibility Trace）加速学习。

里程碑案例：TD-Gammon（1992-1995） Tesauro 开发的 TD-Gammon 是首个达到超越人类水平的计算机西洋双陆棋程序。它使用神经网络（2层全连接，40个隐藏单元）近似 $V(s)$ 或 $Q(s,a)$，并通过 TD(λ) 与自我对弈（Self-play） 训练。关键创新： 1. 特征工程：手工设计棋盘特征（如棋子位置、点阵、潜在 hit 数）。 2. 神经网络函数近似：首次在复杂游戏中成功应用非线性函数近似，克服表格方法维度限制。 3. 自我对弈：智能体与自身历史版本对弈生成训练数据，无需人类数据。 TD-Gammon 以 15 点赛制击败世界冠军，证明无模型强化学习在复杂博弈中的潜力，但其成功高度依赖领域特征设计，且仅限双陆棋（状态空间约 $10^{20}$，远小于围棋）。

1.3.3 深度强化学习爆发期（2013-至今）：端到端与通用算法

2013年，DeepMind 的 DQN（Deep Q-Network） 论文引爆领域。DQN 将 Q-learning 与深度卷积神经网络结合，直接从高维像素输入（Atari 游戏屏幕，$210\times160$ 像素）学习策略，在 49 个 Atari 游戏中超越人类水平。三项关键技术： 1. 经验回放（Experience Replay）：存储交互元组 $(s_t,a_t,r_{t},s_{t+1})$ 到固定大小缓存，随机小批量采样训练，打破数据相关性，稳定训练。 2. 固定目标网络（Target Network）：使用独立网络计算 TD 目标 $y = r + \gamma \max_a Q_{\text{target}}(s_{t+1},a)$，定期更新目标网络，减少目标振荡。 3. 端到端学习：无需手工特征，像素直接映射到 Q 值。

DQN 的成功揭示：深度神经网络作为通用函数近似器，结合强化学习算法，可处理高维状态空间。此后，深度强化学习（Deep RL）蓬勃发展：

• **策略梯度方法**：REINFORCE（1992）的深度版本，直接优化策略参数 $\theta$ 以最大化期望回报 $J(\theta) = \mathbb{E}_{\pi_\theta}[\sum \gamma^t r_t]$。使用**基线（Baseline）** 降低方差，如 **Actor-Critic** 架构：Actor（策略网络）选择动作，Critic（价值网络）评估状态，两者联合训练。代表性算法包括 **A2C/A3C**（异步优势 Actor-Critic）、**TRPO**（信任域策略优化）、**PPO**（近端策略优化，OpenAI 2017），PPO 因稳定性与易用性成为工业界首选。
• **模型方法复兴**：当环境动力学可学习时，**世界模型（World Model）** 方法（如 Dreamer、MuZero）通过学习环境模型进行规划，实现样本高效。
• **多智能体强化学习（MARL）**：多个智能体共享环境，存在合作、竞争或混合场景，挑战在于非平稳性（其他智能体策略变化）与信用分配。

AlphaGo 与 AlphaZero：蒙特卡洛树搜索与自博弈的巅峰 2016年，DeepMind 的 AlphaGo 击败围棋世界冠军李世石，被视为 AI 里程碑。其核心创新： 1. 策略网络（Policy Network）：监督学习预训练（从人类棋谱） + 强化学习微调（自我对弈），输出动作概率分布。 2. 价值网络（Value Network）：预测当前局面的胜率。 3. 蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）：结合策略网络引导搜索、价值网络评估叶子节点，在每一步进行数万次模拟，平衡探索与利用。策略网络 大幅缩小搜索空间，价值网络 减少模拟终局次数，使搜索高效。 4. 自我对弈（Self-play）：以最新版本为对手生成训练数据，实现持续进化。

2017年，AlphaZero 进一步突破：完全摒弃人类数据与领域知识，仅给定规则（如围棋、象棋、将棋），从随机策略开始，通过自我对弈结合 MCTS 与深度神经网络（单一网络同时输出策略与价值），数小时即超越 AlphaGo 并达到超人类水平。其核心启示：通用算法 + 强大函数近似 + 自我对弈 = 超人类性能，且不依赖特定领域特征。2018年 MuZero 更进一步，在未知环境模型下，通过隐空间学习环境动力学，实现围棋、象棋、雅达利游戏、围棋变体（Noisy）的统一处理。

1.4 应用领域全景：从游戏到物理世界

强化学习已从游戏 AI 扩展至众多领域，其价值在于解决高维、序列、目标导向的决策问题。

1. 游戏与娱乐：除围棋、象棋外，AlphaStar（星际争霸 II）、OpenAI Five（Dota 2）在复杂即时战略游戏中达到顶级水平；用于游戏 NPC 行为设计、关卡自动生成、玩家建模。 2. 机器人控制：从仿真到真实（Sim-to-Real）迁移。任务包括：

• ** locomotion**： quadrupedal 机器人（如 ANYmal）适应复杂地形；人形机器人行走、跑步。
• **操纵**：机械臂抓取、组装（如 Dex-Net）、灵巧手操作。
• **飞行**：无人机自主导航、编队飞行。

挑战：样本效率低、安全约束、真实世界物理复杂性。常用方法：域随机化（Domain Randomization）、元强化学习（Meta-RL）提升泛化。 3. 推荐系统与广告：将用户交互建模为序列决策问题，优化长期用户参与度（如点击率、观看时长）而非单次点击。例如，YouTube 使用深度 RL 调整推荐列表；电商平台优化购物车推荐序列。 4. 资源管理与运营优化：

• **数据中心冷却**：DeepMind 与 Google 合作，使用 RL 控制冷却系统，节能 40%。
• **网络路由**：优化流量分配，降低延迟。
• **电力电网**：微电网能源调度。

5. 医疗健康：

• **治疗策略**：为癌症患者设计动态放疗剂量（模拟环境基于患者生理模型）。
• **临床决策**：ICU 中呼吸机参数调整、败血症治疗。
• **药物发现**：分子设计（将化学结构视为状态，化学反应为动作）。

6. 金融：量化交易（投资组合