强化学习入门：从迷宫到AlphaGo的奇幻之旅

强化学习漫游指南

第 1 章：强化学习入门——从迷宫到AlphaGo的奇幻之旅

想象这样一个场景：你被蒙住双眼，放入一个完全陌生的迷宫之中。四周是冰冷的墙壁，脚下是起伏不平的地面。你既不知道出口在哪里，也不知道下一步会踩到什么。唯一能告诉你信息的，只有每走一步后耳边传来的或远或近的提示音——有时是沉默，有时是微弱的回响，有时是令人不安的死寂。这，就是强化学习（Reinforcement Learning，RL）最形象的隐喻。

在这个场景中，你是那个不断摸索、不断学习的智能体（Agent）；而迷宫，就是你需要与之交互的环境（Environment）。你迈出的每一步都是一次动作（Action）的选择；墙壁的回响、地面的触感，就是你获得的状态（State）信息；而最终找到出口时的那声清脆铃响，就是你梦寐以求的奖励（Reward）。

强化学习，本质上就是这样一种学习范式：一个智能体通过与环境进行持续的交互，根据获得的奖励信号不断调整自己的行为策略，最终学会如何在特定环境中做出最优决策。这听起来简单，甚至有些笨拙——毕竟，还有什么比在黑暗中摸索更原始的学习方式呢？然而，正是这种看似朴素的方法，却孕育出了震惊世界的AlphaGo、ChatGPT背后的GPT系列模型，以及在机器人控制、自动驾驶、推荐系统等领域大放异彩的智能系统。

本章将带领读者踏上强化学习的认知之旅。我们将从最基本的概念框架讲起，逐步深入到强化学习的核心问题与经典方法，最后回望这段从学术冷门走向AI王冠的非凡历程。在旅程结束时，你将不仅理解强化学习是什么，更能体会它为何具有如此强大的力量，以及它将如何塑造我们未来的智能世界。

---

1.1 强化学习的基本框架：智能体与环境的舞蹈

1.1.1 交互循环：RL的核心运行机制

强化学习的运作机制可以用一个简洁而优美的交互循环（Interaction Loop）来描述。这个循环虽然简单，却蕴含了智能学习的全部精髓：

```mermaid graph LR A[智能体<br/>Agent] -->|动作 Action| B[环境<br/>Environment] B -->|状态 State| A B -->|奖励 Reward| A A -->|观测 Observation| B ```

在这个循环中，智能体扮演着决策者的角色，它需要时刻回答这样一个问题：在当前状态下，我应该采取什么行动？ 而环境则扮演着规则执行者和反馈提供者的角色，它根据智能体的行动返回新的状态和一个数值化的奖励信号。

让我们用一个更具体的情景来理解这个框架。假设你正在玩一款经典的Atari游戏《太空侵略者》（Space Invaders）：

• **状态（State）** 是游戏屏幕上呈现的完整画面——敌人的位置、你的飞船、你发射的子弹、分数显示，甚至是屏幕边缘闪烁的警示灯。在这个情境下，状态是离散的、像素化的，但足以反映游戏的当前局势。

• **动作（Action）** 是你能够执行的操作集合：向左移动、向右移动、开火。这三个简单的动作，组合起来却能产生千变万化的游戏策略。

• **奖励（Reward）** 是环境对你行为的反馈。在《太空侵略者》中，击毁一个敌人可能获得10分奖励，被敌人击中则可能扣除一条命（对应一个较大的负奖励），而存活本身通常也伴随着微小的时间奖励。

• **策略（Policy）** 是智能体做出决策的核心——它定义了从状态到动作的映射。策略可以是确定性的（状态s对应动作a），也可以是随机性的（状态s对应动作a的概率分布）。

强化学习的目标，是让智能体学会一个能够最大化长期累积奖励的最优策略（Optimal Policy）。注意这里的关键词是“长期”——强化学习关注的不是单次行动的即时收益，而是整个交互序列的总回报。这使得智能体必须学会“深谋远虑”，甚至愿意在短期内承受损失以换取未来的更大收益。这与人类的延迟满足（Delayed Gratification）能力有着惊人的相似性。

1.1.2 状态空间与动作空间：问题的数学刻画

为了更精确地讨论强化学习，我们需要对问题的基本要素进行数学定义。

状态空间（State Space） 记作 $\mathcal{S}$，表示智能体可能处于的所有状态的集合。根据状态空间的不同，强化学习问题可以分为：

• **离散状态空间（Discrete State Space）**：状态是有限或可枚举的。例如，棋盘上的棋子位置、迷宫中的格子编号。围棋的状态数约为 $2.1 \times 10^{170}$，虽然巨大，但仍然是离散的。

• **连续状态空间（Continuous State Space）**：状态由连续变量描述。例如，机器人的关节角度（0到360度的任意角度）、自动驾驶汽车的速度和位置。连续空间给学习带来更大的挑战。

类似地，动作空间（Action Space） 记作 $\mathcal{A}$，也有离散和连续之分：

• **离散动作空间（Discrete Action Space）**：动作是有限的选项，如电子游戏中的方向键、游戏机的按钮。

• **连续动作空间（Continuous Action Space）**：动作是连续的数值，如机器人关节的扭矩控制、汽车方向盘的转动角度（可以是任意角度值）。

不同的状态-动作空间组合，决定了需要采用什么样的算法框架。离散离散的情况可以用表格方法求解；涉及连续空间时，则需要函数逼近（Function Approximation）技术——这正是深度强化学习（Deep Reinforcement Learning）大显身手的地方。

1.1.3 奖励信号：智能体的指路明灯

奖励信号是强化学习中唯一直接指导智能体行为的学习信号。它的设计，往往决定了智能体最终习得的行为质量。

奖励函数 $R(s, a, s')$ 描述了在状态 $s$ 下执行动作 $a$、转移到状态 $s'$ 时获得的即时奖励。这个函数可以是：

• **稀疏奖励（Sparse Reward）**：智能体只在完成特定目标时获得奖励，其他时候奖励为零甚至为负。这就像在迷宫中只有走到出口时才响起铃声。稀疏奖励的问题是“信噪比”极低——智能体必须在茫茫的零奖励海洋中找到那一丝正向信号。这对学习算法提出了极高的要求。

• **稠密奖励（Dense Reward）**：智能体在每一步都能获得与目标接近程度的奖励信号。例如，在导航任务中，到达终点的距离本身就是一种自然的稠密奖励。稠密奖励提供了更丰富的学习信号，但设计不当可能导致次优行为。

奖励设计是强化学习应用中最具艺术性的环节之一。一个经典的教训来自OpenAI对机械臂控制的研究：最初设计的奖励函数导致机械臂“学会”了作弊——不是完成任务，而是绕过任务本身来获取奖励。这提醒我们，奖励函数必须精确反映设计者的真实意图，而这往往比想象中困难得多。

在更正式的定义中，智能体的目标是最大化期望累积奖励（Expected Cumulative Reward），通常写作：

$$G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

其中 $\gamma \in [0, 1]$ 是折扣因子（Discount Factor），它决定了未来奖励在当前决策中的重要程度。当 $\gamma = 0$ 时，智能体只关心即时奖励，是短视的；当 $\gamma = 1$ 时，智能体对即时和未来奖励一视同仁。折扣因子的选择反映了问题本身的特性——在需要长期规划的场景中，通常选择接近1的值。

---

1.2 强化学习vs其他机器学习范式：同源异流

要深入理解强化学习，有必要将它与机器学习的其他范式进行对比。机器学习领域通常分为三大流派：监督学习（Supervised Learning）、无监督学习（Unsupervised Learning） 和强化学习。虽然都归属于“让机器从数据中学习”的大框架，但三者在核心问题、学习方式和数据需求上有着本质区别。

1.2.1 监督学习：亦步亦趋的模仿者

监督学习是当前最成功、应用最广泛的机器学习范式。其核心任务是：给定输入-输出对（input-output pairs），学习一个从输入到输出的映射函数。

在监督学习中，每个训练样本都包含一个“正确答案”——这是标签（Label）或监督信号。学习的过程，就是不断调整模型参数，使得模型对输入的预测尽可能接近真实标签。图像分类中的“猫 vs 狗”、机器翻译中的“中文句子 vs 英文翻译”、语音识别中的“音频波形 vs 文字转录”——这些都是监督学习的典型应用。

监督学习的优势在于学习效率高——每一个样本都直接告诉模型“正确答案是什么”，提供了明确的学习方向。但这也带来了一个根本性的限制：需要大量标注数据。而标注数据的获取往往耗时、昂贵，甚至在某些领域根本不可行。更重要的是，监督学习假设训练和测试环境遵循相同的分布，当环境发生变化时，模型的表现可能会急剧下降。

1.2.2 无监督学习：黑暗中寻找结构

无监督学习则是在没有标签的情况下，从数据中发现隐藏的结构和规律。聚类（Clustering）、降维（Dimensionality Reduction）、密度估计（Density Estimation）都是无监督学习的典型任务。

无监督学习不依赖于人工标注，因此在数据获取上更加灵活。但它的问题是：学习目标不够明确。不像监督学习那样有“正确答案”可以衡量，无监督学习往往需要人为定义“什么样的结构是好的”，这本身就带有很多主观性。

生成对抗网络（GAN）、变分自编码器（VAE）等生成模型，以及BERT等基于掩码语言建模的预训练方法，都可以归入无监督或自监督学习的范畴。近年来，自监督学习（Self-Supervised Learning） 的兴起正在模糊监督与无监督之间的界限——通过设计巧妙的“代理任务（Proxy Task）”，模型可以在没有人工标签的情况下学习到丰富的表示。

1.2.3 强化学习：试错中进化

强化学习与前两者最根本的区别在于：它的学习信号不是给定数据的一部分，而是通过智能体与环境的交互动态产生的。

| 特征 | 监督学习 | 无监督学习 | 强化学习 | |------|----------|------------|----------| | 学习信号 | 给定的标签 | 无标签，发现结构 | 延迟的奖励信号 | | 数据来源 | 静态数据集 | 静态数据集 | 动态交互 | | 反馈时机 | 即时（每个样本） | 无即时反馈 | 延迟（通常） | | 学习范式 | 映射：输入→输出 | 发现：数据中的模式 | 序列决策：最大化累积奖励 | | 典型任务 | 分类、回归、翻译 | 聚类、降维、生成 | 游戏、机器人控制、推荐 | | 探索需求 | 不需要 | 不需要 | 核心需求 |

在强化学习中，智能体必须主动探索环境，通过试错（Trial and Error）来学习什么行动能够带来更高的奖励。这种学习方式虽然样本效率（Sample Efficiency）较低——可能需要与环境交互数以百万计的步骤——但却具有监督学习无法比拟的优势：它能够学习在不确定环境中进行序列决策，而无需人类预先提供正确答案。

这正是强化学习最迷人的地方：它赋予机器自主探索、主动学习的能力。在某些意义上，强化学习更接近于“真正的学习”——就像一个孩子在跌倒中学会走路，在失败中学会做事。它不是被动地接受正确答案，而是主动地与这个世界互动，在交互中发现规律、优化策略。

1.2.4 混合范式：取长补短的融合趋势

值得注意的是，近年来的研究正在打破传统范式之间的壁垒。模仿学习（Imitation Learning） 将监督学习与强化学习相结合，通过人类专家的演示来引导智能体的早期探索。逆强化学习（Inverse Reinforcement Learning） 则从专家行为中推断隐含的奖励函数。带辅助任务的监督学习、基于人类反馈的强化学习（RLHF）——这些技术正在催生一种新的学习范式，它融合了多种方法的优势。

特别是以ChatGPT为代表的大语言模型（Large Language Model） 的训练流程中，RLHF（Reinforcement Learning from Human Feedback） 扮演了关键角色。通过让人类对模型的输出进行排序，模型学会了生成更符合人类偏好、更有帮助的回答。这说明强化学习并非孤立存在，而是可以成为整个AI工具箱中不可或缺的一环。

---

1.3 多臂老虎机：探索与利用的第一个战场

如果说强化学习的整体框架是一首交响曲，那么多臂老虎机（Multi-Armed Bandit） 问题就是其中最经典的序曲。它以最简单的形式，揭示了强化学习中最核心、最普遍存在的一个矛盾——探索与利用的权衡（Exploration-Exploitation Trade-off）。

1.3.1 问题描述：选择背后的数学

多臂老虎机问题的命名来源于赌场中的老虎机（Slot Machine）。假设你面前有 $K$ 台老虎机，每台机器都有一个隐藏的真实回报率（True Reward Rate）——长期来看，这台机器每拉一次手柄能给你带来多少奖励。

问题来了：你应该如何选择拉哪台机器，以最大化累积收益？

这个问题的数学表述是：对于 $K$ 个动作（对应 $K$ 台老虎机），每个动作 $a$ 的即时奖励 $r$ 服从一个固定的概率分布，该分布的均值记作 $q^*(a)$：

$$q^*(a) = \mathbb{E}[R | A = a]$$

你的目标是最大化期望累积奖励：

$$\max \sum_{t=1}^{T} r_t$$

其中 $T$ 是总的拉动手柄次数。

这个问题的“欺骗性”在于：你不知道每台机器的真实回报率。你必须在不断尝试中估计这些值，同时尽可能多地获得奖励。这正是探索与利用矛盾的核心。

1.3.2 探索与利用：鱼与熊掌的权衡

利用（Exploitation） 指的是选择当前估计回报最高的动作——这是“贪婪”的策略，它利用已知信息最大化短期收益。探索（Exploration） 指的是选择非最优的动作以获取更多信息——这可能牺牲短期收益，但为长期更好的决策奠定基础。

为什么不能只探索或只利用？

• **只利用的问题**：如果你永远只选择当前看起来最好的机器，你可能会错过那些“潜力股”——那些你还没有充分探索的机器，实际上可能有更高的回报。这在统计学上称为**遗憾（Regret）** 的累积。

• **只探索的问题**：如果你花太多时间去尝试所有机器，你可能始终没有把“已知最优”的策略执行足够多次，浪费了本可以获得的收益。

著名的探索-利用困境（Explore-Exploit Dilemma） 正是由此产生：这个权衡没有完美的解决方案，只有在特定场景下的权衡取舍。

1.3.3 应对策略：实用主义的智慧

面对这个困境，强化学习研究者们发展出了多种实用策略：

$\varepsilon$-贪心（$\varepsilon$-Greedy） 是最简单直观的方案：以概率 $1 - \varepsilon$ 选择当前估计最优的动作（利用），以概率 $\varepsilon$ 随机选择一个动作（探索）。参数 $\varepsilon$ 控制了探索的强度——$\varepsilon = 0$ 时是完全的利用，$\varepsilon = 1$ 时是完全的探索（实际上退化为随机选择）。

上置信界（Upper Confidence Bound, UCB） 则采用了更优雅的思路：不仅考虑动作的估计回报，还考虑估计的不确定性。那些被探索较少、估计不确定性较大的动作，会获得额外的“奖励加成”。UCB策略的数学形式是：

$$A_t = \arg\max_a \left[ Q_t(a) + c \sqrt{\frac{\ln t}{N_t(a)}} \right]$$

其中 $Q_t(a)$ 是动作 $a$ 的当前估计回报，$N_t(a)$ 是动作 $a$ 被选择的次数，$c$ 是控制探索程度的常数项。公式中的根号项正是对“未知性”的补偿——被选择次数越少的动作，这一项越大。

汤普森采样（Thompson Sampling） 则采用了贝叶斯视角：假设每个动作的回报服从某种先验分布（如Beta分布用于二值奖励），每次选择时从各动作的后验分布中采样，根据采样值选择动作。这自然地实现了探索与利用的平衡——对于不确定性大的动作，其采样值可能很高也可能很低，从而被更频繁地尝试。

1.3.4 老虎机的深远意义

多臂老虎机问题虽然看似简单，但它所揭示的探索-利用权衡，却是强化学习乃至整个人工智能领域最核心的问题之一。

在更一般的强化学习问题中，状态空间可能极其庞大，智能体需要在每个状态下都做出探索-利用的权衡。这意味着探索不能是盲目的——你需要有策略地探索，优先探索那些“更有潜力”的状态-动作对。这催生了内在动机（Intrinsic Motivation）、不确定性驱动探索等研究方向。

多臂老虎机还与许多现实问题有着深刻的联系：临床试验中的新药vs现有药物选择、网站设计中的A/B测试、推荐系统中的新内容推荐、金融投资中的风险-收益平衡——这些都可以被建模为某种形式的多臂老虎机问题。

```python """ 多臂老虎机模拟器：演示ε-贪心策略 """ import numpy as np import matplotlib.pyplot as plt

class MultiArmedBandit: """多臂老虎机模拟器"""

def __init__(self, n_arms=10, true_rewards=None): """ 初始化老虎机

Args: n_arms: 老虎机数量 true_rewards: 各机器的真实回报率（均值） """ self.n_arms = n_arms if true_rewards is None:

每个动作的真实回