第1章：强化学习导论
强化学习（Reinforcement Learning, RL）是机器学习领域中一门独特而富有魅力的学科，它研究智能体（Agent）如何在不确定环境中通过持续试错（Trial and Error）来学习最优决策策略。与监督学习（Supervised Learning）依赖大量标注数据、无监督学习（Unsupervised Learning）探索数据内在结构不同，强化学习的核心在于“行动-反馈”的闭环：智能体根据当前状态（State）选择动作（Action），环境则返回新的状态和标量奖励（Reward），智能体的目标是通过最大化长期累积奖励来优化行为。这一范式既模拟了生物体适应环境的本能，也为人工智能（AI）系统在复杂动态场景中实现自主决策提供了理论框架。从最简单的迷宫寻路到击败世界冠军的AlphaGo，强化学习的演进轨迹清晰地展示了其从理论雏形到产业落地的强大生命力。本章将系统梳理强化学习的基本概念、历史发展脉络、核心组件及其数学表述，并通过迷宫求解与AlphaGo的对比案例，揭示其从简单任务到复杂决策的演进逻辑，为后续章节的深入学习奠定基础。
1.1 什么是强化学习？核心范式与机器学习定位
强化学习本质上是一种目标导向的试错学习（Goal-Oriented Trial-and-Error Learning）。其核心思想可概括为：智能体在与环境的持续交互中，通过尝试不同动作并观察 resulting 奖励信号，逐步学习如何在特定状态下选择能带来最大长期收益的动作序列。这一定义凸显了RL的三个鲜明特征：交互性（Interaction）、延迟奖励（Delayed Reward）和探索与利用的权衡（Exploration-Exploitation Trade-off）。
1.1.1 与机器学习其他分支的对比
为更精准地定位RL，我们将其与监督学习和无监督学习进行对比：
| 维度 | 监督学习 | 无监督学习 | 强化学习 | |------|----------|------------|----------| | 数据形式 | 输入-输出对 $(x, y)$ | 无标签数据 $x$ | 状态-动作-奖励序列 $(s, a, r)$ | | 学习目标 | 学习映射 $f: x \mapsto y$ | 发现数据内在结构（聚类、降维） | 学习策略 $\pi: s \mapsto a$ 以最大化累积奖励 | | 反馈信号 | 即时、精确的标签 | 无显式反馈 | 稀疏、延迟、可能带噪声的标量奖励 | | 典型任务 | 图像分类、语音识别 | 客户分群、异常检测 | 游戏AI、机器人控制、推荐系统 |
关键差异：监督学习如同“有答案的习题集”，模型通过模仿正确答案来学习；无监督学习如同“未标注的图片库”，模型自行发现规律；而强化学习则如同“在陌生城市探险”，没有地图，只有 occasional 的“好”或“坏”的提示（奖励），必须自己探索并记住哪些路线最终通向目的地。
1.1.2 形式化框架：马尔可夫决策过程（MDP）
强化学习问题通常形式化为马尔可夫决策过程（Markov Decision Process, MDP）。MDP 是描述序贯决策问题的经典数学框架，其核心假设是马尔可夫性质（Markov Property）：下一状态的概率分布仅依赖于当前状态和动作，与更早的历史无关。一个完整的 MDP 由以下五元组定义：
$$ \mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma) $$
其中：
- $\mathcal{S}$：**状态空间**（State Space），环境所有可能状态的集合。状态 $s \in \mathcal{S}$ 是对环境当前情况的抽象描述，可以是低维向量（如机器人关节角度）或高维观测（如游戏屏幕像素）。
- $\mathcal{A}$：**动作空间**（Action Space），智能体所有可选动作的集合。在离散任务中（如迷宫），$\mathcal{A}$ 是有限集（如上、下、左、右）；在连续任务中（如机械臂控制），$\mathcal{A}$ 是连续空间（如力矩向量）。
- $P$：**状态转移概率函数**（Transition Probability Function），$P(s' | s, a)$ 表示在状态 $s$ 执行动作 $a$ 后转移到状态 $s'$ 的条件概率。若环境完全已知，$P$ 是确定性函数；若未知，则需通过交互学习。
- $R$：**奖励函数**（Reward Function），$R(s, a, s')$ 或 $R(s, a)$ 表示从状态 $s$ 执行 $a$ 转移到 $s'$ 后获得的即时标量奖励。奖励是RL的“指挥棒”，设计奖励函数是RL应用中的关键艺术。
- $\gamma$：**折扣因子**（Discount Factor），$\gamma \in [0, 1]$，用于权衡即时奖励与未来奖励的重要性。$\gamma$ 接近 1 时，智能体更注重长期收益；$\gamma = 0$ 时，智能体只关心即时奖励。
示例：网格世界迷宫 考虑一个 5×5 的网格迷宫（图 1.1），智能体从起点 (1,1) 出发，目标是到达终点 (5,5)。每步可执行动作：上、下、左、右。若动作导致撞墙，则状态不变。奖励设计：到达终点 +10，撞墙 -1，其他移动 0。该迷宫可形式化为 MDP：
- $\mathcal{S}$：25 个网格位置，共 25 个状态。
- $\mathcal{A}$：{上, 下, 左, 右}，4 个离散动作。
- $P$：确定性转移（除非撞墙）。
- $R$：如上述定义。
- $\gamma$：通常设为 0.9，表示未来奖励按 90% 折扣。
```mermaid graph TD A[智能体 Agent] -->|选择动作 a_t<br>基于状态 s_t| B[环境 Environment] B -->|执行动作,<br>生成奖励 r_t+1,<br>新状态 s_t+1| A style A fill:#e1f5fe style B fill:#f3e5f5 ```
*图 1.1：强化学习标准交互循环。智能体观察环境状态 $s_t$，选择动作 $a_t$；环境接收动作后，转移到新状态 $s_{t+1}$ 并给出奖励 $r_{t+1}$。此循环持续进行，智能体的目标是最大化长期折扣奖励总和 $G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$。*
1.1.3 核心术语中英对照表
为便于读者理解，本章及后续内容将首次出现核心术语时标注英文。以下为本章关键术语速查：
| 中文术语 | 英文术语 | 简要说明 | |----------|----------|----------| | 智能体 | Agent | 学习或决策的主体 | | 环境 | Environment | 智能体交互的外部世界 | | 状态 | State | 环境当前情况的描述 | | 动作 | Action | 智能体可执行的操作 | | 奖励 | Reward | 环境对动作的标量反馈信号 | | 策略 | Policy | 智能体行为规则，$\pi(a|s)$ 或 $\pi(s)$ | | 价值函数 | Value Function | 评估状态或动作长期收益的函数 | | 状态价值函数 | State-Value Function $V^\pi(s)$ | 从状态 $s$ 开始遵循策略 $\pi$ 的期望累积奖励 | | 动作价值函数 | Action-Value Function $Q^\pi(s,a)$ | 在状态 $s$ 执行动作 $a$ 后遵循策略 $\pi$ 的期望累积奖励 | | 折扣因子 | Discount Factor $\gamma$ | 未来奖励的衰减系数 | | 探索与利用 | Exploration vs. Exploitation | 尝试新动作以获取信息 vs. 执行当前最优动作以获取奖励 | | 马尔可夫性质 | Markov Property | 未来状态仅依赖于当前状态和动作，与历史无关 |
1.2 历史发展脉络：从心理学实验到DeepMind
强化学习的诞生并非一蹴而就，而是融合了心理学、控制论、统计学和计算机科学的跨学科成果。其发展大致可分为四个阶段：萌芽期（1950s前）、算法奠基期（1950s-1980s）、理论成熟期（1980s-2000s）和深度强化学习爆发期（2013至今）。
1.2.1 萌芽期：心理学与控制论的启发
强化学习的核心思想可追溯至行为心理学。19世纪末，爱德华· Thorndike 提出“效果律”（Law of Effect）：动物在特定情境下做出某个行为后若获得满意结果，该行为与情境的联结将被强化；反之则削弱。这构成了“奖励强化行为”的雏形。20世纪30年代，B.F. Skinner 通过“操作性条件反射”（Operant Conditioning）实验（如老鼠按压杠杆获取食物）系统验证了该规律，并引入“强化物”（Reinforcer）概念——这正是RL中“奖励”的思想源头。
与此同时，控制论（Cybernetics）为RL提供了工程视角。1948年，诺伯特·维纳（Norbert Wiener）出版《控制论：关于在动物和机器中控制和通讯的科学》，强调系统通过反馈（Feedback）实现目标维持。这一思想直接影响了后续RL中“状态-动作-奖励”反馈循环的设计。
1.2.2 算法奠基期：早期程序与Q-learning的诞生
1950年代，计算机科学开始尝试实现“学习机器”。1959年，亚瑟·塞缪尔（Arthur Samuel）在IBM 704计算机上开发了著名的跳棋程序。该程序通过自我对弈（Self-Play）不断更新棋局评估函数，并采用α-β剪枝优化搜索。尽管当时未使用“强化学习”一词，但其核心机制——通过试错优化策略——已具备RL雏形。塞缪尔因此被誉为“机器学习之父”，他的程序在1962年击败了美国跳棋冠军，展示了机器学习的潜力。
1970-1980年代，RL算法框架逐渐清晰。1988年，理查德·萨顿（Richard Sutton）在博士论文中提出时序差分学习（Temporal Difference Learning, TD Learning），巧妙结合了蒙特卡洛方法（不依赖模型、基于完整回报）和动态规划（利用贝尔曼方程、无需等待 episode 结束）的优点。TD学习成为RL的基石算法，其核心更新公式为：
$$ V(s_t) \leftarrow V(s_t) + \alpha [r_{t+1} + \gamma V(s_{t+1}) - V(s_t)] $$
其中 $\alpha$ 为学习率。括号内项 $r_{t+1} + \gamma V(s_{t+1}) - V(s_t)$ 称为时序差分误差（TD Error），它衡量了预测值与实际目标之间的差距。
1989年，克里斯·沃特金斯（Chris Watkins）在博士论文中提出Q-learning，一种无需模型的离线策略（Off-Policy）控制算法。Q-learning 直接学习动作价值函数 $Q(s,a)$，其更新规则为：
$$ Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha [r_{t+1} + \gamma \max_{a} Q(s_{t+1}, a) - Q(s_t, a_t)] $$
Q-learning 的收敛性证明（Watkins & Dayan, 1992）奠定了RL理论基石。同年，琳达·沃特金斯（Linda G. S. Watson）在迷宫学习实验中展示了Q-learning在简单网格世界的有效性，智能体通过数百次尝试即可找到最短路径，成为RL教学经典案例。
1.2.3 理论成熟期：从表格方法到函数近似
1990年代至2000年代初，RL理论体系日趋完善。萨顿与巴托（Andrew Barto）合著的《强化学习：导论》（1998年初版）首次系统梳理了RL知识体系，成为领域圣经。这一时期的主要进展包括：
- **策略梯度方法**（Policy Gradient Methods）：直接优化策略参数 $\theta$，通过梯度上升最大化期望回报 $J(\theta) = \mathbb{E}_{\pi_\theta}[\sum r]$。**REINFORCE**算法（Williams, 1992）是早期代表。
- **演员-评论家架构**（Actor-Critic）：结合策略梯度（演员，Actor）和价值函数估计（评论家，Critic），如 **A2C/A3C**（Asynchronous Advantage Actor-Critic）的雏形。
- **函数近似**（Function Approximation）：当状态空间巨大（如国际象棋）时，表格存储 $Q(s,a)$ 不可行。研究者开始使用线性函数、决策树甚至早期神经网络近似价值函数或策略。**TD(λ)** 和 **Least Squares TD** 等算法被提出。
然而，函数近似与RL的结合面临不稳定性和发散挑战。神经网络作为通用函数逼近器，其与RL的融合直到2013年才取得突破。
1.2.4 深度强化学习爆发期：AlphaGo与超越
2013年，DeepMind（后被Google收购）团队发表 Deep Q-Network（DQN）论文，首次将深度卷积神经网络（CNN）与Q-learning结合，在 Atari 2600 游戏上达到甚至超越人类水平。DQN 的关键技术创新包括：
- **经验回放**（Experience Replay）：存储交互经验 $(s, a, r, s')$ 到回放缓冲区，训练时随机采样，打破数据相关性，稳定学习。
- **目标网络**（Target Network）：使用独立网络计算TD目标 $r + \gamma \max_a Q(s', a; \theta^-)$，其中 $\theta^-$ 定期从 $\theta$ 复制，减少目标波动。
2015年，DQN 在 49 款 Atari 游戏中 29 款超越人类专业玩家，标志着深度强化学习（Deep Reinforcement Learning, DRL）时代的开启。
2016年3月，AlphaGo 以 4:1 击败围棋世界冠军李世石，引发全球轰动。围棋状态空间约 $10^{170}$，远超宇宙原子数（$10^{80}$），传统搜索方法无法应对。AlphaGo 的创新在于： 1. 策略网络（Policy Network $f_\sigma$）：监督学习人类棋谱预训练，后通过强化学习自我对弈微调，输出动作概率分布。 2. 价值网络（Value Network $f_\theta$）：评估当前局面的胜率，减少搜索深度。 3. 蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）：结合策略网络引导搜索方向、价值网络评估节点，通过模拟（Simulation）高效探索决策树。
2017年，AlphaGo Zero 更进一步：完全抛弃人类数据，仅从随机初始化开始，通过自我对弈强化学习，在 3 天内击败已胜李世石的 AlphaGo，40 天达到“AlphaZero”水平，可通晓围棋、将棋、国际象棋。其核心是单一神经网络同时输出策略和价值，以及残差网络（Residual Network）架构。
2020年，DeepMind 推出 AlphaFold，虽非严格RL系统，但其核心注意力机制与
2017年，DeepMind 推出 AlphaGo Zero，其革命性在于完全摒弃人类棋谱，仅通过自我对弈强化学习（Self-Play Reinforcement Learning）从随机策略开始，3天后击败曾战胜李世石的 AlphaGo，40天达到“AlphaZero”水平，并扩展到围棋、将棋、国际象棋三种棋类，统一框架下均超越当时最强程序。AlphaGo Zero 的核心创新包括：（1）单一神经网络同时输出策略分布 $p$ 和价值估计 $v$，替代原有两个独立网络；（2）使用残差网络（ResNet）作为特征提取器，处理棋盘状态；（3）MCTS 搜索中，策略网络引导动作选择（PUCT 算法），价值网络提供局面评估，显著减少搜索节点；（4）训练数据完全来自自我对弈，每轮迭代用最新网络重估历史对局，形成强化学习闭环。
2019年，AlphaStar（DeepMind）在复杂即时战略游戏《星际争霸 II》中达到人类宗师水平。其挑战在于：部分可观测（战争迷雾）、长时序决策（数千步）、巨大动作空间（$10^{26}$ 量级）。AlphaStar 采用多智能体强化学习（Multi-Agent RL）框架，结合注意力机制（Transformer）处理单位信息，分层策略管理宏观与微观操作，并通过 league training （联赛训练）让多个智能体相互对抗，避免过拟合单一策略。
2020年，AlphaFold 2（DeepMind）在蛋白质结构预测领域取得突破，虽核心为几何深度学习，但其迭代优化模块（Evoformer、Structure Module）具有强化学习思想：通过迭代 refinement 逐步优化结构，类似策略迭代。2021年，Gato（DeepMind）提出多模态多任务通用智能体，同一 Transformer 架构可处理文本、图像、机器人动作等 600 多种任务，通过行为克隆与RL微调混合训练，展示“一个模型多种技能”的潜力。
中国团队也在RL领域取得瞩目成就。2020年，华为诺亚方舟实验室的盘古大模型系列在游戏AI（如《王者荣耀》）中应用多智能体RL；2022年，OpenAI（虽非中国机构，但影响广泛）的ChatGPT背后，InstructGPT使用基于人类反馈的强化学习（RLHF）对齐语言模型，成为大语言模型标准训练流程。RLHF 三阶段：（1）监督微调（SFT）；（2）训练奖励模型（RM）从人类偏好数据；（3）使用 PPO 算法以奖励模型为环境优化策略。这一流程将RL