强化学习范式：智能体、环境与交互循环
强化学习（Reinforcement Learning, RL）作为机器学习的重要分支，其核心魅力在于模拟生物体通过与环境交互、从试错中学习以达成目标的智能行为。与依赖大量标注数据的监督学习、或从数据中挖掘隐含结构的无监督学习不同，强化学习关注的是序列决策问题：智能体在不确定的动态环境中，通过持续的行动来最大化长期累积奖励。这种范式不仅为游戏AI、机器人控制、自动驾驶等领域的突破提供了理论基础，更因其与人类学习方式的深刻相似性，成为通向通用人工智能（AGI）的关键路径之一。本章将系统构建强化学习的分析框架，明确其问题定义、核心组件与交互机制，并通过经典案例具象化其任务形式，最后梳理发展脉络与核心挑战，为全书奠定坚实的认知基础。
强化学习的问题定义与本质特征
强化学习问题可以形式化地描述为：一个智能体（Agent）在与环境（Environment）的重复交互中，学习一套策略（Policy），以最大化其从环境中获得的累积奖励（Cumulative Reward）。这一定义看似简洁，却蕴含着与其它机器学习范式截然不同的哲学内核。
与监督学习、无监督学习的本质差异
要深刻理解强化学习，必须首先厘清其与监督学习、无监督学习的根本区别。这种区别并非仅仅体现在数据形式上，更源于学习目标、反馈机制和决策结构的根本不同。
监督学习建立在“有教师”的假设之上。模型接收大量输入-输出对（即标注数据），通过最小化预测与真实标签之间的误差来学习一个映射函数。其学习过程是静态的、一次性的：给定训练集，模型调整参数以拟合数据分布，之后应用于新的、独立的样本。反馈是即时的、确定的——每个输入都有对应的正确输出。例如，在图像分类任务中，每张图片都标有类别标签，模型的目标是提高分类准确率。监督学习的成功高度依赖于数据质量与数量，且通常假设训练数据与测试数据独立同分布（i.i.d.）。
无监督学习则完全摒弃了“标签”，致力于从数据中发现内在结构或模式。聚类、降维、异常检测是其典型任务。学习过程是描述性的、探索性的：算法试图理解数据本身的统计特性，如相似性、密度或低维流形。反馈是内生的、基于数据自身属性的——例如，同一簇内的样本距离应尽可能小。无监督学习不直接优化某个外部目标，而是为后续任务（如特征提取）提供基础。
相比之下，强化学习处于一个完全不同的维度。它没有现成的“输入-输出”对，也没有预定义的“正确答案”。智能体唯一能获取的信息是稀疏的、延迟的、有时甚至是噪声的奖励信号。这些奖励是环境对智能体行为的评价性反馈，而非指导性反馈。智能体必须自行探索哪些动作在何种状态下会带来好的长期结果。其学习过程是动态的、序列的、持续交互的：当前动作不仅影响即时奖励，更通过改变环境状态来影响未来所有可能的奖励。这种时间信用分配（Temporal Credit Assignment）问题——即如何将最终的奖励归因于一系列历史动作——是强化学习最具挑战性的核心之一。
下表从多个维度对比了三种范式：
| 维度 | 监督学习 | 无监督学习 | 强化学习 | |------|----------|------------|----------| | 数据形式 | 带标签的样本 $(x, y)$ | 无标签样本 $x$ | 交互轨迹 $(s_t, a_t, r_{t+1}, s_{t+1})$ | | 反馈信号 | 即时、确定的标签 | 无外部反馈，基于数据内在属性 | 延迟、稀疏、有时噪声的标量奖励 $r$ | | 学习目标 | 最小化预测误差，拟合映射 $f: x \mapsto y$ | 发现数据模式（聚类、低维表示等） | 最大化长期累积奖励 $G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$ | | 决策结构 | 单步决策，样本间独立 | 无决策，纯分析 | 序列决策，状态转移依赖历史动作 | | 核心挑战 | 过拟合、数据偏差、标注成本 | 评估无监督学习结果、解释性 | 探索-利用困境、信用分配、样本效率、泛化 | | 典型应用 | 图像分类、语音识别、机器翻译 | 客户细分、推荐系统（协同过滤）、异常检测 | 游戏AI、机器人控制、资源调度、对话系统 |
从上表可见，强化学习的独特性在于其将学习过程嵌入到一个闭环的交互循环中，智能体必须主动“选择”数据（通过动作），而非被动“接收”固定数据集。这使得强化学习特别适合解决那些目标难以直接编程、需要通过经验逐步优化的问题，例如让机器人学会走路——我们无法精确描述每一步的肌肉控制细节，但可以定义“向前移动”和“不摔倒”作为奖励。
强化学习五元组：智能体、环境、状态、动作与奖励
为了精确描述强化学习问题，业界普遍采用五元组作为标准形式化框架：$\langle \mathcal{A}, \mathcal{E}, \mathcal{S}, \mathcal{A}, \mathcal{R} \rangle$。这五个元素共同定义了智能体与环境交互的“规则”，是后续所有算法的基础。
智能体（Agent）
智能体是学习和决策的主体。它不直接控制环境，而是通过感知环境状态，并基于某种策略选择动作来影响环境。智能体的内部组件通常包括：
- **策略（Policy）**：智能体的行为准则，定义了在给定状态下选择动作的概率分布。策略可以是确定性的 $\pi(s) = a$，也可以是随机的 $\pi(a|s)$。学习的目标就是找到最优策略 $\pi^*$。
- **价值函数（Value Function）**：评估状态或状态-动作对长期价值的函数，用于指导决策。例如，状态值函数 $V^\pi(s)$ 表示从状态 $s$ 开始，遵循策略 $\pi$ 的预期累积折扣奖励；动作值函数 $Q^\pi(s, a)$ 则表示在状态 $s$ 采取动作 $a$ 后，再遵循 $\pi$ 的预期累积奖励。
- **模型（Model）**（可选）：智能体对环境动力学的内部预测，即状态转移概率 $P(s'|s, a)$ 和奖励函数 $R(s, a, s')$。基于模型的算法（如动态规划）利用模型进行规划；无模型算法（如Q-learning）则直接从经验中学习，不依赖显式模型。
智能体的“智能”体现在其策略的优化能力上：它必须平衡探索（尝试新动作以发现潜在更高奖励）与利用（执行当前已知最优动作以获取确定奖励），这是一个根本性权衡。
环境（Environment）
环境是智能体之外的所有事物的总和，是智能体交互的对象。环境接收智能体的动作，并据此状态转移，同时向智能体提供新的状态和奖励。环境具有以下关键特性：
- **外部性**：环境独立于智能体存在，其动力学（状态转移规律）是固定的（尽管可能未知）。
- **响应性**：环境对智能体动作的响应是确定性的（在相同状态下执行相同动作总是导致相同结果）或随机的（遵循某种概率分布）。
- **反馈性**：环境通过奖励信号告诉智能体其行为的“好坏”。
在形式化中，环境通常被建模为一个马尔可夫决策过程（Markov Decision Process, MDP），其核心假设是马尔可夫性质：下一状态的概率分布仅依赖于当前状态和动作，与更早的历史无关。即 $P(s_{t+1}|s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1}|s_t, a_t)$。这一假设极大地简化了问题，使得状态 $s_t$ 包含了所有对未来预测必要的历史信息。尽管现实问题可能不完全满足马尔可夫性，但通过设计充分丰富的状态表示（如使用循环神经网络处理历史序列），往往可以近似满足。
状态（State）
状态 $s \in \mathcal{S}$ 是环境在某一时刻的描述，是智能体做决策的依据。状态空间 $\mathcal{S}$ 可以是离散的（如棋盘上的格子坐标）、连续的（如机器人关节角度、传感器读数），或是两者的混合。状态的设计至关重要：
- **充分性**：状态应包含做出最优决策所需的所有信息。在马尔可夫环境中，当前状态即足够；在非马尔可夫环境中，可能需要**历史状态序列**或** belief state**（对隐藏状态的概率分布）。
- **可观测性**：如果智能体每次都能观测到环境的真实状态，则称为**完全可观测环境**（如棋类游戏）；如果只能观测到部分信息或噪声观测，则称为**部分可观测环境**（POMDP），此时智能体需维护内部信念状态。
状态的表示方式直接影响学习难度。在深度强化学习中，状态常以高维原始数据形式出现（如图像像素、激光雷达点云），这要求智能体具备强大的特征提取能力。
动作（Action）
动作 $a \in \mathcal{A}(s)$ 是智能体在状态 $s$ 下可以执行的操作。动作空间 $\mathcal{A}$ 同样可以是离散的（如游戏中的“上、下、左、右”）或连续的（如机械臂的关节力矩、自动驾驶的转向角与油门）。动作的选择由策略 $\pi(a|s)$ 决定。在连续动作空间中，策略通常输出动作的概率分布参数（如高斯分布的均值和方差），或直接输出确定性动作。
动作的物理可行性和环境约束必须被考虑。例如，机器人动作可能受动力学约束，某些动作在特定状态下可能无效或危险。
奖励（Reward）
奖励 $r \in \mathcal{R} \subseteq \mathbb{R}$ 是环境对智能体动作的即时数值反馈，是学习信号的唯一来源。奖励函数 $R(s, a, s')$ 定义了从状态 $s$ 执行动作 $a$ 后转移到 $s'$ 所获得的奖励。在随机环境中，奖励也是随机变量。
奖励的设计是强化学习工程中的艺术与科学结合点：
- **稀疏性**：奖励可能非常稀疏（如仅在任务成功或失败时给予非零奖励），这极大增加了学习难度，因为智能体难以将最终结果与中间动作关联（信用分配问题）。
- ** shaping**：设计**稠密奖励**（Dense Reward）可以加速学习，但必须谨慎，避免引入“奖励黑客”（Reward Hacking）——智能体找到利用奖励函数漏洞而非完成真实任务的方法。例如，若奖励设计为“机器人移动距离”，智能体可能学会快速抖动而非平稳前进。
- **尺度与偏移**：奖励的绝对值大小影响学习稳定性。通常，奖励进行归一化处理，且折扣因子 $\gamma \in [0, 1)$ 用于平衡即时与未来奖励的重要性：$\gamma$ 接近 1 表示更重视长期回报，接近 0 表示只关注即时奖励。
智能体的终极目标是最大化期望累积折扣奖励（Return）： $$ G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} $$ 其中 $\gamma$ 是折扣因子，确保无限序列的和有限，并体现时间偏好。
五元组的交互循环
五元组定义了静态规则，而强化学习的动态过程则体现为一个持续的交互循环。下图以序列图形式展示了这一核心循环：
```mermaid sequenceDiagram participant A as 智能体 (Agent) participant E as 环境 (Environment)
Note over A,E: 时间步 t A->>E: 观测状态 s_t A->>A: 根据策略 π 选择动作 a_t A->>E: 执行动作 a_t E->>E: 状态转移: s_t, a_t → s_{t+1} ~ P(·|s_t, a_t) E->>E: 生成奖励: r_{t+1} = R(s_t, a_t, s_{t+1}) E->>A: 接收 (r_{t+1}, s_{t+1}) Note over A,E: 时间步 t+1 ```
这一循环每步发生： 1. 观测：智能体在时间步 $t$ 观测到环境当前状态 $s_t$。 2. 决策：基于策略 $\pi$ 和状态 $s_t$，智能体选择动作 $a_t \sim \pi(\cdot|s_t)$。 3. 执行：动作 $a_t$ 被施加于环境。 4. 响应：环境根据动力学（状态转移概率 $P$）更新至新状态 $s_{t+1}$，并根据奖励函数 $R$ 给出即时奖励 $r_{t+1}$。 5. 反馈：智能体接收奖励 $r_{t+1}$ 和新状态 $s_{t+1}$，作为下一决策的输入。
如此循环，形成一条轨迹（Trajectory）或经验（Experience）：$\tau = (s_0, a_0, r_1, s_1, a_1, r_2, \dots)$。智能体的任务是通过分析这些交互经验，优化策略 $\pi$，使得期望累积奖励 $J(\pi) = \mathbb{E}_{\tau \sim \pi}[G_0]$ 最大化。
值得注意的是，在部分可观测环境中，智能体无法直接观测 $s_t$，而只能观测到观测值 $o_t \in \mathcal{O}$，此时问题升级为部分可观测马尔可夫决策过程（POMDP），智能体需基于观测历史 $o_{1:t}$ 维护对真实状态的信念 $b(s)$。
经典案例具象化：从迷宫到围棋
抽象的五元组与交互循环需要通过具体任务才能显现其力量。以下三个经典案例覆盖了从离散简单控制到复杂决策的频谱，展示了强化学习范式的通用性。
案例一：网格迷宫导航——离散状态与动作的基石
任务描述：智能体位于一个 $N \times M$ 的网格迷宫中，每个格子是一个状态。起点在左下角，终点在右上角。迷宫中有障碍物（墙壁）不可穿越。智能体每次可选择四个离散动作：上、下、左、右。若动作导致撞墙，则状态不变。每移动一步获得小量负奖励（如 $-0.01$），到达终点获得大正奖励（如 $+1.0$）。任务目标是找到从起点到终点的最短路径（或任意成功路径）。
五元组映射：
- **状态空间 $\mathcal{S}$**：所有 $N \times M$ 个格子位置，可编码为 $(x, y)$ 坐标，离散且有限。
- **动作空间 $\mathcal{A}$**：$\{\text{上, 下, 左, 右}\}$，每个状态相同，离散且有限。
- **奖励函数 $\mathcal{R}$**：$R(s, a, s') = \begin{cases} +1, & \text{if } s' \text{ 是终点} \\ -0.01, & \text{otherwise} \end{cases}$。奖励稀疏（仅在终点非零），但稠密负奖励鼓励尽快结束。
- **状态转移 $P$**：确定性（若动作合法，则 $s'$ 为相邻格子；若撞墙，则 $s'=s$）。
- **智能体**：策略 $\pi(a|s)$ 初始随机，目标是学习从每个非终点状态到终点的最优方向。
挑战与学习过程：此任务虽简单，但已蕴含核心挑战。由于奖励稀疏（仅在终点），智能体在初期几乎无法获得正向信号，需要大量随机探索才能偶然到达终点。一旦到达，通过回溯（如Q-learning中的更新 $Q(s,a) \leftarrow Q(s,a) + \alpha [r + \gamma \max_{a'} Q(s',a') - Q(s,a)]$），终点前一状态的 $Q$ 值被提升，然后是其前一状态，如此反向传播，最终形成从起点到终点的 $Q$ 值梯度。智能体学会选择 $Q$ 值最高的动作，即最优路径。此案例是理解值迭代、策略迭代和Q-learning的完美起点。
案例二：雅达利游戏——从像素到决策的跨越
任务描述：智能体通过接收游戏屏幕的原始像素（如 $210 \times 160$ 灰度图）和当前游戏分数，控制游戏手柄的离散动作（如“发火”、“上”、“下”等，共18种可能），目标是最大化游戏得分。环境是商业雅达利游戏模拟器（如《Pong》、《Breakout》），其动力学完全未知且高度复杂。
五元组映射：
- **状态空间 $\mathcal{S}$**：高维连续像素空间（$210 \times 160 \approx 33600$ 维），若包含多帧则更高。状态空间巨大，且像素间高度相关。
- **动作空间 $\mathcal{A}$**：离散，通常18个合法游戏动作（但许多游戏有效动作较少）。
- **奖励函数 $\mathcal{R}$**：游戏分数变化。例如，《Breakout》中每打破一块砖得1分，每 lost life 扣当前分数。奖励相对稠密，但仍有长程依赖（如一次连续击球打破多块砖）。
- **状态转移 $P$**：完全未知、高度非线性、随机的（模拟器有随机种子）。但满足马尔可夫性：给定当前帧和动作，下一帧由模拟器确定（忽略内部随机源）。
- **智能体**：需从原始像素端到端学习策略，不依赖游戏特定知识。
挑战与突破：此案例是深度强化学习的里程碑。状态空间巨大，传统表格方法（如Q-learning）完全失效。2013年，DeepMind提出深度Q网络（DQN），使用卷积神经网络（CNN）近似 $Q(s,a)$，输入为最近4帧像素堆叠，输出为每个动作的 $Q$ 值。DQN引入了经验回放（Experience Replay）打破数据相关性，以及目标网络（Target Network）稳定训练。在《Breakout》等游戏中，DQN仅凭像素和分数即达到人类水平，证明了深度RL处理高维感知输入的可行性。此案例凸显了函数近似、样本效率和稳定性的极端重要性。
案例三：机器人控制——连续动作与物理现实
任务描述：控制模拟或真实机器人完成特定任务，如MuJoCo物理引擎中的“Ant”（四足机器人）行走、“Humanoid”（人形机器人）奔跑，或机械臂抓取物体。状态包括机器人关节角度、速度、物体位置等；动作是施加到各关节的力矩（连续值）；奖励通常设计为前进速度、站立稳定性、能耗等的加权和。
五元组映射（以Ant行走为例）：
- **状态空间 $\mathcal{S}$**：连续向量，包括身体位置/速度、关节角度/速度、接触力等，维度约 28-111。
- **动作空间 $\mathcal{A}$**：连续向量，每个关节的力矩，维度 8（Ant有8个关节），通常归一化到 $[-1, 1]$。
- **奖励函数