强化学习范式演进：从迷宫问题到AlphaGo

当AlphaGo在2016年以4:1击败围棋世界冠军李世石时，全球科技界第一次直观感受到强化学习的颠覆性潜力；而当你在短视频平台刷到精准匹配兴趣的内容、在导航软件里获得实时最优路线规划时，其实早已无数次与强化学习的落地成果擦肩而过。作为机器学习三大范式之一，强化学习（Reinforcement Learning, RL）的核心逻辑与监督学习、无监督学习有着本质差异：它不是从标注数据中学习规律，而是让智能体（Agent）在与动态环境的持续交互中，通过试错获取奖励信号，最终优化长期累积的奖励目标。本章将系统梳理强化学习从早期理论雏形到工业级落地的完整演进脉络，从迷宫智能体、跳棋程序等经典案例出发，逐步剖析DeepMind的DQN、AlphaGo等里程碑成果的技术内核，明确强化学习的核心定义与范式特征，对比其与另外两种机器学习范式的差异，梳理其独有的核心挑战，最终为读者搭建贯穿全书的认知框架。

1.1 早期探索：从迷宫智能体到跳棋程序的自学习雏形

强化学习的思想源头可以追溯到1950年阿兰·图灵的经典论文《计算机器与智能》，其中首次提出“学习机”的概念：让机器通过与环境的交互、试错来获得能力，而非依赖人工预设的规则。这一思想在1954年由IBM工程师Arthur Samuel落地为世界上第一个具备自学习能力的跳棋程序，成为强化学习的早期雏形。

Samuel的跳棋程序运行在IBM 701计算机上，核心逻辑完全符合现代强化学习的范式：智能体（跳棋程序）与环境（棋盘对弈）交互，每局对弈结束后获得奖励信号（赢+1、输-1、平0），通过调整盘面评估函数的权重来优化后续的对弈策略。其评估函数基于12个人工设计的特征，包括棋子位置的安全性、中心控制权、是否形成连珠等，初始权重为随机值。程序每完成一局对弈，就会根据胜负结果调整权重：如果某个特征在获胜对局中出现频率更高，则提升其权重，反之则降低。经过数千局自博弈后，该程序的胜率从初始的30%提升到70%左右，甚至能在让子的情况下击败Samuel本人。这一成果的核心突破在于证明了机器可以通过自主试错，无需人工干预就能优化决策能力，比深度学习的概念早了整整半个世纪。

与跳棋程序并行发展的，是心理学领域对动物学习行为的实验研究，其中最具代表性的是1960年代提出的T型迷宫（T-maze）实验：将老鼠放置在T型迷宫的起点，迷宫一端放置食物奖励，老鼠初始状态下随机选择左转或右转，经过数十次试错后，会稳定地选择有食物的一侧。这一实验被强化学习领域吸收为经典的理论模型：迷宫的状态是老鼠的位置（起点、左岔、右岔），动作是左转/右转，奖励是获得食物+10、无奖励0、每步移动-0.1（鼓励快速找到食物），目标是学习一个策略$\pi(a|s)$，最大化长期累积奖励$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$（其中

当AlphaGo在2016年以4:1击败围棋世界冠军李世石时，全球科技界第一次直观感受到强化学习的颠覆性潜力；而当你在短视频平台刷到精准匹配兴趣的内容、在导航软件里获得实时最优路线规划时，其实早已无数次与强化学习的落地成果擦肩而过。作为机器学习三大范式之一，强化学习（Reinforcement Learning, RL）的核心逻辑与监督学习、无监督学习有着本质差异：它不是从标注数据中学习规律，而是让智能体（Agent）在与动态环境的持续交互中，通过试错获取奖励信号，最终优化长期累积的奖励目标。本章将系统梳理强化学习从早期理论雏形到工业级落地的完整演进脉络，从迷宫智能体、跳棋程序等经典案例出发，逐步剖析DeepMind的DQN、AlphaGo等里程碑成果的技术内核，明确强化学习的核心定义与范式特征，对比其与另外两种机器学习范式的差异，梳理其独有的核心挑战，最终为读者搭建贯穿全书的认知框架。

1.1 早期探索：从迷宫智能体到跳棋程序的自学习雏形

强化学习的思想源头可以追溯到1950年阿兰·图灵的经典论文《计算机器与智能》，其中首次提出“学习机”的概念：让机器通过与环境的交互、试错来获得能力，而非依赖人工预设的规则[^1]。这一思想在1954年由IBM工程师Arthur Samuel落地为世界上第一个具备自学习能力的跳棋程序，成为强化学习的早期雏形。

Samuel的跳棋程序运行在IBM 701计算机上，核心逻辑完全符合现代强化学习的范式：智能体（跳棋程序）与环境（棋盘对弈）交互，每局对弈结束后获得奖励信号（赢+1、输-1、平0），通过调整盘面评估函数的权重来优化后续的对弈策略。其评估函数基于12个人工设计的特征，包括棋子位置的安全性、中心控制权、是否形成连珠等，初始权重为随机值。程序每完成一局对弈，就会根据胜负结果调整权重：如果某个特征在获胜对局中出现频率更高，则提升其权重，反之则降低。经过数千局自博弈后，该程序的胜率从初始的30%提升到70%左右，甚至能在让子的情况下击败Samuel本人。这一成果的核心突破在于证明了机器可以通过自主试错，无需人工干预就能优化决策能力，比深度学习的概念早了整整半个世纪。

与跳棋程序并行发展的，是心理学领域对动物学习行为的实验研究，其中最具代表性的是1960年代提出的T型迷宫（T-maze）实验：将老鼠放置在T型迷宫的起点，迷宫一端放置食物奖励，老鼠初始状态下随机选择左转或右转，经过数十次试错后，会稳定地选择有食物的一侧。这一实验被强化学习领域吸收为经典的理论模型：迷宫的状态是老鼠的位置（起点、左岔、右岔），动作是左转/右转，奖励是获得食物+10、无奖励0、每步移动-0.1（鼓励快速找到食物），目标是学习一个策略$\pi(a|s)$，最大化长期累积奖励： $$G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$ 其中$\gamma \in [0,1)$是折扣因子，用于权衡即时奖励与未来奖励的价值：$\gamma$越接近1，智能体越注重长期收益，例如迷宫任务中$\gamma=0.9$意味着10步后的奖励价值仅为当前的$0.9^{10} \approx 0.35$，因此智能体会倾向于选择更短的路径到达终点，而非绕路收集零散的中间奖励。

这一时期的探索虽然已经具备强化学习的核心范式特征，但受限于算力和理论框架，仍停留在小规模规则场景的雏形阶段，直到1980年代马尔可夫决策过程（MDP）理论的成熟，才为强化学习提供了严格的数学基础。

1.2 范式形成：马尔可夫决策过程与经典Q-learning的突破

1980年代，强化学习正式形成独立的学科范式，核心标志是马尔可夫决策过程（Markov Decision Process, MDP）被确立为强化学习的标准数学框架。MDP是对现实决策问题的抽象，其核心假设是马尔可夫性：当前状态包含了所有决策所需的历史信息，即未来状态的转移仅依赖于当前状态和动作，与过去的状态和动作无关，数学表达为： $$P(s_{t+1}|s_t, a_t) = P(s_{t+1}|s_1, a_1, \dots, s_t, a_t)$$ 一个完整的MDP可以定义为五元组$(S, A, P, R, \gamma)$，其中：

• $S$是状态空间，包含环境所有可能的状态，例如迷宫中的16个格子位置；
• $A$是动作空间，包含智能体所有可执行的动作，例如迷宫中上下左右4个移动动作；
• $P: S \times A \times S \to [0,1]$是状态转移概率函数，表示在状态$s$执行动作$a$后转移到状态$s'$的概率；
• $R: S \times A \times S \to \mathbb{R}$是奖励函数，表示状态转移过程中获得的即时奖励；
• $\gamma$是折扣因子，用于权衡即时与未来奖励。

MDP框架的成熟解决了早期强化学习缺乏严格数学描述的问题，也为后续算法的设计提供了统一的理论基础。1989年，英国剑桥大学的Chris Watkins在其博士论文中首次提出了Q-learning算法，成为强化学习发展史上第一个具有广泛适用价值的算法，至今仍是工业界应用最广泛的强化学习算法之一。

Q-learning的核心思想是维护一个Q表$Q(s,a)$，表示在状态$s$下执行动作$a$后，遵循最优策略所能获得的长期累积奖励。Q值的更新基于贝尔曼最优方程，通过时序差分（Temporal Difference, TD）学习的方式逐步迭代收敛： $$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha \left[ r_{t+1} + \gamma \max_{a} Q(s_{t+1}, a) - Q(s_t, a_t) \right]$$ 其中$\alpha \in (0,1]$是学习率，用于控制Q值更新的步长，$r_{t+1} + \gamma \max_{a} Q(s_{t+1}, a)$被称为时序差分目标（TD目标），表示当前动作的即时奖励加上下一状态的最大Q值折现后的估计值，两者之差称为时序差分误差（TD误差），用于修正当前Q值的估计偏差。

为了更直观地理解Q-learning的工作流程，我们可以通过一个4x4网格迷宫的实战案例说明：迷宫起点为左上角(0,0)，终点为右下角(3,3)，障碍物为(1,1)和(0,3)，每步移动的即时奖励为-0.1，撞墙奖励为-1，到达终点奖励为+10，动作空间为上下左右4个方向，转移概率为90%按预期方向移动，10%随机滑动到相邻格子。初始状态下所有Q值为0，智能体从起点出发，第一次随机探索走到终点后，会从终点开始回溯更新Q值： 1. 终点左侧状态(3,2)执行右动作的Q值更新为：$Q(3,2,右) = 0 + 0.1 \times (10 + 0.9 \times 0 - 0) = 1$ 2. 状态(3,1)执行右动作的Q值更新为：$Q(3,1,右) = 0 + 0.1 \times (-0.1 + 0.9 \times 1 - 0) = 0.081$ 3. 以此类推，最终所有状态的Q值会收敛到最优值，智能体无需探索即可沿着Q值最大的动作序列从起点走到终点。

Q-learning的核心优势是异策略（Off-policy）特性：它可以在不改变当前行为策略的情况下，直接学习最优策略，即智能体可以用随机探索的策略收集数据，同时更新最优Q值，这一特性极大降低了算法对探索策略的依赖，也为后续的深度强化学习奠定了基础。

> [侧边栏：Q-learning的冷启动与工业应用] > Q-learning在提出后的20年里并未得到广泛应用，核心原因是传统Q-learning仅能处理离散、小规模的状态空间，当状态数超过百万级时，Q表的存储和更新都会变得不可行。直到2010年后，随着深度学习技术的发展，Q-learning才重新进入研究者的视野，成为深度强化学习的核心算法之一。

1.3 深度爆发：DQN与深度强化学习的里程碑

传统强化学习的核心瓶颈是维度灾难：当状态空间是连续或高维离散时，Q表的存储和更新会变得完全不可行。例如Atari游戏的状态是210x160像素的RGB图像，状态数高达$256^{210 \times 160 \times 3}$，远超可观测宇宙的原子总数，传统Q-learning根本无法处理这类问题。2013年，DeepMind的研究团队提出了深度Q网络（Deep Q-Network, DQN），首次将深度神经网络与Q-learning结合，解决了高维状态空间的Q值近似问题，成为深度强化学习的开端。

DQN的核心创新是两个关键技术，分别解决了深度Q网络训练的两大核心难题： 1. 经验回放（Experience Replay）：将智能体与环境交互的经验$(s_t, a_t, r_{t+1}, s_{t+1})$存储到一个固定容量的回放缓冲区中，训练时随机采样一批经验进行更新，打破了样本之间的时间相关性，避免了训练过程中的发散问题，类似监督学习中的随机梯度下降，提升了训练的稳定性。 2. 目标网络（Target Network）：使用两个独立的深度神经网络，一个是评估网络（Online Network），用于选择动作和计算当前Q值；另一个是目标网络（Target Network），用于计算TD目标中的下一状态最大Q值。目标网络的参数定期从评估网络复制，不需要每次迭代都更新，解决了Q值估计的漂移问题：如果每次更新都用当前的Q值计算目标，会导致目标不断变化，训练过程极不稳定。

2015年，

2015年，DeepMind在《自然》杂志发表了题为《Human-level control through deep reinforcement learning》的里程碑论文，正式将深度Q网络（DQN）推入公众视野。在实验中，DQN仅通过输入游戏的原始像素画面和游戏得分，无需任何人工设计的特征，就在49款Atari 2600游戏中超越了人类专业玩家的平均水平，其中在《打砖块》（Breakout）、《乒乓球》（Pong）、《太空侵略者》（Space Invaders）等游戏中甚至达到了超过人类水平200%的得分。这一成果的核心意义在于首次证明了深度强化学习可以直接从高维原始感知数据中学习到复杂的控制策略，无需人工特征工程，为后续的AlphaGo、机器人控制等复杂任务打开了通路。

DQN的技术架构完全针对Atari游戏的高维输入设计：输入为连续4帧堆叠的84×84灰度图像（堆叠帧是为了捕捉动作的时序信息，弥补单帧图像缺乏运动信息的缺陷），网络结构包含2个卷积层（第一层16个8×8卷积核，步长4；第二层32个4×4卷积核，步长2）和2个全连接层（第一层256个ReLU神经元，第二层输出对应所有离散动作的Q值），总参数量仅约150万，在当时的GPU上即可完成训练。其训练流程的核心是之前提到的经验回放和目标网络：经验回放缓冲区容量设置为100万条交互经验，每次训练随机采样32条经验进行批量更新，目标网络的参数每10000步从评估网络同步一次，这两个设计将训练的稳定性提升了数倍，解决了深度Q网络训练不收敛的难题。

尽管DQN取得了突破性成果，但其局限性也十分明显：首先，它仅能处理离散动作空间，无法应对机器人控制、自动驾驶等连续动作场景；其次，样本效率极低，训练一款游戏需要数百万帧的交互数据，相当于几十个小时的游戏时间；此外，max Q值的选择会导致Q值过估计问题，即对动作价值的估计系统性偏高。这些局限性也直接推动了后续深度强化学习算法的演进。

1.4 里程碑突破：AlphaGo的技术演进与核心创新

如果说DQN证明了深度强化学习在游戏领域的可行性，那么AlphaGo则将其推到了人类智慧的最后堡垒——围棋的面前。围棋的状态空间约为$10^{170}$，远超可观测宇宙的原子总数（约$10^{80}$），每步有361个可选落子点，传统基于搜索的方法（如Minimax算法）完全无法处理，在AlphaGo出现之前，最强的围棋AI仅能达到业余2段的水平。

AlphaGo的技术演进经历了三个关键版本，每个版本都代表了强化学习的重大突破：

1.4.1 AlphaGo Fan：首次击败职业棋手

2015年，AlphaGo的第一个公开版本以5:0击败了欧洲围棋冠军樊麾二段，成为首个击败职业棋手的围棋AI。其技术架构是三个核心组件的有机结合： 1. 监督学习预训练策略网络（SL Policy Network）：输入为当前棋盘的19×19特征通道（包含棋子位置、气、征子、眼位等12个人工设计的特征），输出为361个落子点的概率分布，使用3000万局人类职业棋手的棋谱训练，落子准确率达到57%，能够模仿人类高手的落子习惯。 2. 强化学习微调策略网络（RL Policy Network）：以SL策略网络为初始参数，通过自我对弈的策略梯度方法微调，目标是尽可能击败当前版本的策略网络，经过训练后，RL策略网络对SL策略网络的胜率超过99%。 3. 价值网络（Value Network）：输入为当前棋盘的特征，输出为当前局面的胜率估计（0到1之间的连续值），用于评估非终局局面的优劣，避免完全模拟到终局的高计算成本。 4. 蒙特卡洛树搜索（MCTS）：作为决策的核心引擎，将上述三个网络结合起来，每次落子前进行1600次模拟搜索，流程分为四个步骤：

• **选择**：从根节点开始，用上置信界（UCB）公式选择最有潜力的子节点，平衡探索与利用；
• **扩展**：如果当前节点不是终局，且未被访问过，则添加新的落子节点到搜索树；
• **评估**：用价值网络评估叶子节点的胜率，对于终局节点则直接返回胜负结果；
• **回传**：将评估结果回传到根节点，更新路径上所有节点的访问次数和胜率统计。

最终选择访问次数最多的落子点作为最终动作。MCTS的引入让AlphaGo的搜索效率提升了数倍，避免了传统暴力搜索的计算成本。

```mermaid graph TD A[开始：当前棋盘状态] --> B[选择：用UCB公式选择最优子节点] B --> C{是否为终局？} C -->|否| D[扩展：添加新的落子节点] D --> E[评估：用价值网络/终局结果评估胜率] C -->|是| E E --> F[回传：更新路径节点的访问次数与胜率] F --> G{是否达到模拟次数？} G -->|否| B G -->|是| H[选择访问次数最多的落子点] ```

1.4.2 AlphaGo Lee：击败世界冠军

2016年，升级版的AlphaGo以4:1击败了围棋世界冠军李世石九段，其中第二局的“第37手”被职业棋手称为“神之一手”，完全超越了人类棋手的认知边界。相比AlphaGo Fan，AlphaGo Lee的核心优化包括：

• 策略网络和价值网络均采用了更深的卷积神经网络架构，引入了残差连接，提升了特征提取能力；
• 训练数据从人类棋谱扩展到了3000万局自我对弈数据，覆盖了更多的人类棋手很少接触的棋局；
• 改进了MCTS的搜索策略，引入了快速走子（Rollout）策略加速终局评估，将单步决策时间从之前的几秒降低到1秒以内，满足了正式比赛的用时要求。

1.4.3 AlphaGo Zero：摆脱人类知识的完全自学习

2017年，DeepMind发布了AlphaGo Zero，完全抛弃了人类棋谱数据，仅输入围棋的基本规则（棋盘大小、落子规则、胜负规则）和当前棋盘的棋子颜色，通过完全自博弈的强化学习从零开始训练。其架构创新包括： 1. 双头残差网络：策略头和价值头共享底层网络参数，仅顶层有独立的输出层，