强化学习概述：从感知到决策

强化学习概述：从感知到决策

1.1 引言：智能决策的机器智慧

人工智能领域长期追求的一个核心目标是构建能够自主决策的智能系统。这类系统需要具备在复杂环境中感知状态、评估后果、选择行动的能力。与传统程序设计中明确指定每一步操作不同，智能决策系统需要通过与环境的交互来学习最优行为策略。强化学习（Reinforcement Learning，RL）正是解决这一问题的核心技术，它使机器能够通过试错学习，在与环境的持续交互中逐步优化决策能力。

强化学习的研究可追溯至20世纪50年代，最初萌芽于对动物学习行为的计算建模。随着时间推移，该领域逐步发展出完整的理论框架和算法体系。近年来，得益于深度学习的技术突破，强化学习与深度神经网络的深度融合催生了深度强化学习（Deep Reinforcement Learning），使得高维感知输入（如图像、语音）直接与决策控制相连接成为可能。2016年AlphaGo击败围棋世界冠军李世石，2019年AlphaStar在《星际争霸II》中达到大师级水平，这些里程碑事件标志着强化学习在复杂策略环境中已经展现出超越人类专家的决策能力。

本书系统阐述强化学习的理论基础、算法设计和实践应用。从最经典的迷宫导航问题出发，逐步深入到现代深度强化学习的前沿技术，涵盖从基础概念到前沿进展的完整知识体系。全书共十五章，逻辑递进、层层深入，既强调理论严谨性，又注重工程实践性。第1章作为开篇，旨在为读者建立强化学习的整体认知框架，阐明核心概念、分类体系和典型应用，为后续章节的深入学习奠定坚实基础。

1.2 强化学习的基本框架

1.2.1 智能体-环境交互模型

强化学习的核心是智能体（Agent）与环境（Environment）之间的持续交互过程。这一交互构成了强化学习的基本运行范式，可用图1所示的交互模型来描述。

```mermaid graph TB A[智能体 Agent] -->|动作 Action At| B[环境 Environment] B -->|状态 State St| A B -->|奖励 Reward Rt| A C[时间步 t] -->|t=0,1,2,...| B

style A fill:#e1f5fe style B fill:#fff3e0 ```

在每个时间步$t$，智能体观察到当前环境状态$S_t \in \mathcal{S}$，基于此做出决策选择动作$A_t \in \mathcal{A}(S_t)$。环境接收动作后，根据状态转移 dynamics）函数发生转变，同时产生标量奖励信号$R_{t+1} \in \mathcal{R} \subset \mathbb{R}$反馈给智能体。智能体的目标是通过不断调整其决策策略（Policy），最大化长期累积奖励。

形式化地，这一交互过程可描述为马尔可夫决策过程（Markov Decision Process，MDP）。MDP由四元组$(\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R})$定义：

• **状态空间** $\mathcal{S}$：环境所有可能状态的集合，可以是离散有限集，也可以是连续无限集
• **动作空间** $\mathcal{A}$：智能体可以采取的所有动作的集合，同样可以是离散或连续的
• **状态转移函数** $\mathcal{P}$：描述环境动态，$\mathcal{P}(s'|s,a) = P(S_{t+1}=s'|S_t=s, A_t=a)$，即在状态$s$采取动作$a$后转移到状态$s'$的概率
• **奖励函数** $\mathcal{R}$：定义奖励信号，$\mathcal{R}(s,a,s')$或$\mathcal{R}(s,a)$表示在特定状态动作下获得的即时奖励

MDP的核心假设是马尔可夫性：未来的状态转移和奖励只依赖于当前状态和动作，而与历史轨迹无关。这一性质使得决策问题可以在数学上得到优雅的处理。

1.2.2 迷宫导航：强化学习的经典案例

为直观理解强化学习的运行机制，考虑经典的迷宫导航问题。迷宫环境是一个$5\times5$网格世界，智能体的目标是从起始位置（左上角）导航到目标位置（右下角），同时避免陷阱（左下角和中央的障碍物）。

```mermaid graph LR subgraph 迷宫环境 A1((S)) --> A2 A2 --> A3 A3 --> A4 A4 --> A5((T)) A6((X)) -.-> A3 A7((X)) -.-> A7 end

style A1 fill:#4caf50 style A5 fill:#f44336 style A6 fill:#ff9800 style A7 fill:#ff9800 ```

在这个问题中：

• **状态**：智能体在网格中的位置，用二维坐标$(i,j)$表示，共25个可能状态
• **动作**：上、下、左、右四个方向移动，连续动作空间为$\mathcal{A} = \{up, down, left, right\}$
• **奖励**：进入目标位置获得正奖励（如$R=+1$），进入陷阱获得负奖励（如$R=-1$），其他移动获得小的负奖励（如$R=-0.01$）鼓励高效路径
• **状态转移**：确定性转移，移动到相邻格子；若碰到边界或障碍物则保持在原位置

智能体的学习目标是找到一个最优策略$\pi^*(s)$，在任意起始状态都能给出最优动作选择，最大化从开始到达目标的累积奖励。

这一简单案例展示了强化学习的核心特征：智能体需要在当前奖励（避免陷阱）和长期回报（到达目标）之间做出权衡。短视的策略可能频繁陷入陷阱，而过于激进的策略可能绕远路。强化学习算法通过估计每个状态或状态-动作对的长期价值来做出平衡的决策。

1.2.3 核心概念与数学基础

理解强化学习需要掌握几个关键概念。策略（Policy）$\pi(a|s)$定义了智能体的行为方式，是从状态到动作的概率分布映射。确定性策略直接给出最优动作$A_t = \pi(S_t)$，而随机策略给出各动作的概率分布。

值函数（Value Function）评估状态的长期价值。最常用的是状态值函数$V^\pi(s)$，表示从状态$s$开始，遵循策略$\pi$所能获得的期望累积奖励：

$$V^\pi(s) = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \mid S_t = s \right]$$

其中$\gamma \in [0,1]$是折扣因子（discount factor），权衡即时奖励与未来奖励的重要性。当$\gamma$接近0时智能体短视，接近1时更重视长期回报。

动作值函数（Action-Value Function）$Q^\pi(s,a)$评估在状态$s$采取动作$a$然后遵循策略$\pi$的价值：

$$Q^\pi(s,a) = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \mid S_t = s, A_t = a \right]$$

两者的关系为：$V^\pi(s) = \sum_a \pi(a|s) Q^\pi(s,a)$。

最优值函数对应最优策略$\pi^*$满足$V^*(s) = \max_\pi V^\pi(s)$，最优动作值函数$Q^*(s,a) = \max_\pi Q^\pi(s,a)$。它们满足贝尔曼最优方程：

$$V^*(s) = \max_a \sum_{s'} \mathcal{P}(s'|s,a) \left[ \mathcal{R}(s,a,s') + \gamma V^*(s') \right]$$

这一方程是许多强化学习算法的理论基础。

1.3 强化学习与机器学习的关系

1.3.1 机器学习范式对比

强化学习是机器学习的重要分支，与监督学习和无监督学习共同构成机器学习的主要范式。三者在数据利用方式、学习目标和反馈机制上存在本质差异。

```mermaid graph TB A[机器学习] --> B[监督学习] A --> C[无监督学习] A --> D[强化学习]

B --> B1[标签: 输入x → 输出y] C --> C1[无标签: 发现数据结构] D --> D1[奖励信号: 交互学习]

B1 --> B2[独立同分布数据] C1 --> C2[数据分布学习] D1 --> D2[序列决策优化] ```

监督学习从标注数据中学习映射关系。训练数据形式为$(x_i, y_i)$对，模型通过最小化预测值与真实标签的损失函数来学习。监督学习假设训练样本独立同分布（i.i.d.），且每个样本都有明确的正确答案。图像分类、语音识别、自然语言处理中的许多任务都属于监督学习范畴。

无监督学习在无标签数据中发现隐藏结构。典型任务包括聚类（将相似样本归为一组）、降维（用低维表示捕捉高维数据结构）、密度估计等。数据本身提供了信号，算法需要自行发现数据中的模式。

强化学习的学习信号是延迟的稀疏奖励。智能体不是从固定数据集中学习，而是通过与环境交互收集经验数据。动作的正确与否不立即显现，而是在episode结束后才能通过累积奖励评估。这使得强化学习的探索-利用权衡（exploration-exploitation trade-off）成为核心挑战。

1.3.2 核心差异的深入分析

从信息论角度看，三种学习范式处理的信息结构截然不同。监督学习的信息流向是单向的——从数据到模型；无监督学习在数据内部寻找相关性；强化学习则是闭环交互，信息在智能体与环境之间双向流动。

时序依赖性是强化学习的显著特征。当前决策影响未来状态，未来状态又影响后续决策，形成复杂的因果链条。监督学习假设样本间独立，可以并行处理；强化学习的样本具有时间相关性，必须序列化考虑。

主动信息获取方面，监督学习和无监督学习是被动的——数据已给定，算法只能从中提取信息。强化学习中的智能体可以主动选择探索新状态、测试未知动作，通过有目的的探索来获取有价值的信息。这一主动性是强化学习独特而强大的能力，但也带来额外的复杂性。

信用分配问题（Credit Assignment Problem）是强化学习特有的挑战。当智能体获得最终结果（如赢得或输掉一盘棋）时，如何将成功或失败归因于之前的每一步决策？强化学习需要处理这种延迟的因果关系，而监督学习的标签通常是即时且明确的。

1.3.3 应用场景的选择

理解三种范式的差异有助于在实际问题中选择合适的方法。当问题具有明确的输入-输出映射关系，且有大量标注数据时，监督学习是首选。如果目标是发现数据中的隐藏结构或模式，无监督学习更为适合。当需要序列决策、动作影响后续状态、且难以获得监督信号时，强化学习成为自然选择。

值得注意的是，深度学习的成功催生了三种范式的融合。监督式强化学习（如模仿学习）利用专家示范指导智能体行为；强化自监督学习将无监督技术融入强化学习框架；逆向强化学习从未标注的演示数据中推断奖励函数。理解基础范式是掌握这些融合方法的前提。

1.4 强化学习的分类体系

强化学习研究发展出丰富的算法体系，从不同角度可对现有方法进行分类。这些分类反映了强化学习问题的不同假设条件和求解策略。

1.4.1 基于模型与无模型方法

根据智能体是否对环境进行建模，强化学习方法分为模型基方法（Model-Based）和无模型方法（Model-Free）。

无模型方法直接学习值函数或策略，不尝试理解环境的具体运作机制。这类方法通过与真实环境交互，采样状态、动作、奖励的轨迹，从经验数据中直接学习最优策略。典型算法包括Q学习（Q-Learning）、SARSA、策略梯度（Policy Gradient）、演员-评论家（Actor-Critic）等。无模型方法的优势在于实现简单、不受模型误差影响，缺点是样本效率相对较低，需要大量交互才能收敛。

模型基方法首先学习环境的模型（状态转移和奖励函数），然后基于学到的模型进行规划或策略学习。模型可以是已知的环境动力学（如物理系统），也可以是从数据中学到的近似模型。典型算法包括Dyna-Q、蒙特卡洛树搜索（MCTS）、基于模型的策略优化（MBPO）等。模型基方法潜在优势是样本效率高，可以利用模型进行大量模拟；但面临模型误差累积的挑战。

两种方法的权衡可用下表总结：

| 特性 | 无模型方法 | 模型基方法 | |------|-----------|-----------| | 样本效率 | 较低 | 较高 | | 实现复杂度 | 较简单 | 较复杂 | | 模型误差 | 无 | 存在 | | 泛化能力 | 受限于实际交互 | 可通过模拟扩展 | | 适用场景 | 环境复杂、难以建模 | 环境可学习或已知 |

现代研究中，模型基方法受到越来越多的关注，特别是结合了深度学习的模型学习方法（如World Models、Dreamer），在样本效率上展现出显著优势。

1.4.2 基于值函数与基于策略的方法

根据学习目标的不同，强化学习方法分为基于值函数的方法（Value-Based）和基于策略的方法（Policy-Based）。

基于值函数的方法学习状态值函数$V(s)$或动作值函数$Q(s,a)$，然后通过值函数间接导出策略。典型算法如Q学习通过迭代更新$Q$值，直到收敛到最优$Q^*$，然后选择使$Q$值最大化的动作。深度Q网络（DQN）用深度神经网络近似$Q$函数，开创了深度强化学习的先河。

值函数方法在离散动作空间表现优异，理论基础扎实。但存在几个局限：函数近似下收敛性不保证；连续动作空间需要额外处理（如动作离散化或argmax操作）；探索策略设计复杂。

基于策略的方法直接参数化策略$\pi_\theta(a|s)$，通过优化累积奖励来学习最优策略。策略梯度方法直接计算目标函数关于策略参数的梯度，并沿梯度方向更新：

$$\nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T-1} \nabla_\theta \log \pi_\theta(a_t|s_t) \cdot G_t \right]$$

其中$G_t$是回报（return）。策略梯度方法天然适合连续动作空间，理论上有更好的收敛性，但样本方差较高，学习效率不稳定。

演员-评论家方法（Actor-Critic）融合了两种方法的优势。用值函数（评论家）估计回报，降低方差；用策略（演员）做决策，可处理连续动作。Actor-Critic框架是现代深度强化学习的主流范式，衍生出A3C、PPO、SAC等众多算法。

1.4.3 蒙特卡洛与时序差分方法

根据值函数估计方式，分为蒙特卡洛方法（Monte Carlo，MC）和时序差分方法（Temporal Difference，TD）。

蒙特卡洛方法从完整的episode中估计回报。完成一个episode后，计算从起始状态开始的真实累积奖励$G_t$，用$G_t$更新值函数。MC方法直接学习 Episodic任务，值估计无偏，但方差较大，只适用于有终止状态的episodic任务。

$$V(S_t) \leftarrow V(S_t) + \alpha \left[ G_t - V(S_t) \right]$$

时序差分方法结合了蒙特卡洛和动态规划的思想。与MC等待episode结束不同，TD方法基于当前估计进行 bootstrapping，用即时奖励和后续状态值的估计来更新当前值：

$$V(S_t) \leftarrow V(S_t) + \alpha \left[ R_{t+1} + \gamma V(S_{t+1}) - V(S_t) \right]$$

括号内$R_{t+1} + \gamma V(S_{t+1})$称为TD目标，$R_{t+1} + \gamma V(S_{t+1}) - V(S_t$称为TD误差。TD方法可以在线增量学习，适用于Continuing任务（无终止状态），但值估计是有偏的（bootstrapping引入偏差）。

MC与TD的选择取决于具体问题。连续任务或长episode场景下TD更高效；需要无偏估计或环境模型未知时MC更稳健。实际中TD方法应用更广泛，其bootstrapping机制在函数近似和函数泛化中发挥重要作用。

1.4.4 免模型方法的进一步细分

免模型方法可进一步细分为on-policy和off-policy两类，这一区分在学习效率上具有重要意义。

On-policy方法评估和改进正在执行的策略。典型算法如SARSA和Actor-Critic系列（PPO），用当前策略采样的数据更新同一策略。On-policy方法实现简单，理论基础清晰，但样本效率较低——每份数据只能使用一次，更新后需要重新采样。

Off-policy方法可以从其他策略生成的数据中学习。典型算法如Q学习和DQN，学习最优策略但可用任意策略（包括随机策略和历史策略）采样的数据。Off-policy方法样本效率高，可重用历史数据，但实现更复杂，收敛性分析更困难。

Q学习是一种经典的off-policy方法，其更新规则为：

$$Q(S_t, A_t) \leftarrow Q(S_t, A_t) + \alpha \left[ R_{t+1} + \gamma \max_a Q(S_{t+1}, a) - Q(S_t, A_t) \right]$$

注意更新中使用$\max_a Q(S_{t+1}, a)$而非当前策略的$Q$值，这允许用不同策略产生的数据更新$Q$函数。DQN通过经验回放（Experience Replay）和目标网络（Target Network）技术改进了Q学习的稳定性，成为深度强化学习的重要里程碑。

1.5 探索与利用的权衡

1.5.1 探索-利用困境

强化学习的核心挑战之一是探索-利用权衡（Exploration-Exploitation Trade-off）。智能体需要在两个相互竞争的目标之间取得平衡：

• **利用**（Exp