Name: 深度强化学习：核心算法与前沿实践
Author: step-3.5-flash

强化学习范式与核心问题定义

强化学习（Reinforcement Learning, RL）是一种机器学习范式，其核心在于研究智能体（Agent）如何通过与动态环境的持续交互来学习最优行为策略，以最大化其从环境中获得的长期累积奖励。与依赖大量标注数据的监督学习不同，强化学习强调在序列决策的框架下，智能体基于试错（trial-and-error）机制，在延迟奖励（delayed reward）的指导下逐步优化其行为。这种范式天然适用于控制、规划、游戏、机器人等需要做出连续决策的领域。本章将严格确立全书的讨论框架，首先形式化定义智能体-环境交互的基本循环，并通过与监督学习、无监督学习的对比，凸显强化学习在问题设定上的独特性。随后，将深入剖析序贯决策问题的六大核心要素：状态（State）、动作（Action）、策略（Policy）、奖励函数（Reward Function）、转移动力学（Transition Dynamics）与折扣因子（Discount Factor）。在此基础上，引入更一般性的部分可观测马尔可夫决策过程（Partially Observable Markov Decision Process, POMDP），以涵盖现实世界中普遍存在的感知不确定性。通过迷宫导航、库存管理与围棋对局三个经典案例，本章将具体展示如何将实际问题抽象为强化学习模型，并阐明建模过程中的关键考量与常见陷阱。最后，概述全书所需的数学基础与整体技术路线图，为后续各章奠定坚实的理论与问题意识基础。

智能体-环境交互范式：形式化定义与对比

强化学习的本质是一个闭环控制系统。在每一时间步 $ t $，智能体观测到环境当前的状态 $ s_t \in \mathcal{S} $，其中 $ \mathcal{S} $ 是状态空间；随后，智能体根据其策略 $ \pi $ 选择一个动作 $ a_t \in \mathcal{A} $，其中 $ \mathcal{A} $ 是动作空间；动作作用于环境，环境根据其内在的转移动力学（或状态转移概率函数）$ P(s_{t+1} | s_t, a_t) $ 转移到下一个状态 $ s_{t+1} $，同时向智能体反馈一个标量奖励 $ r_{t+1} = R(s_t, a_t, s_{t+1}) \in \mathbb{R} $。如此循环，形成一个无限或有限时域的交互序列。

```mermaid graph LR A[智能体 Agent] -- 动作 a_t --> B[环境 Environment] B -- 状态 s_{t+1} 与奖励 r_{t+1} --> A A -- 策略 π --> 自身 ```

这一交互范式可以用马尔可夫决策过程（Markov Decision Process, MDP）在数学上严格描述。一个MDP由五元组 $ (\mathcal{S}, \mathcal{A}, P, R, \gamma) $ 定义，其中 $ \gamma \in [0,1] $ 是折扣因子。MDP的核心假设是马尔可夫性质：下一状态 $ s_{t+1} $ 的条件概率分布仅依赖于当前状态 $ s_t $ 和动作 $ a_t $，而与更早的历史无关。即 $ P(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, \dots) = P(s_{t+1} | s_t, a_t) $。这一假设极大地简化了问题，使得基于动态规划或搜索的方法成为可能。

为了凸显强化学习的独特性，有必要将其与另外两种主流机器学习范式进行形式化对比。

从表中可见，强化学习最根本的特征在于其交互性与时间信用分配（Credit Assignment）问题。智能体的一个动作可能经过数十甚至数百步后才产生影响（如在围棋中落下一子最终决定胜负），如何将最终的奖励归因于历史上的一系列动作，是强化学习算法设计的核心难题。监督学习中的梯度下降直接依据当前样本的误差调整参数，而强化学习中，策略的每次更新都可能影响未来所有交互数据的分布，导致非平稳性与高方差，这是深度强化学习算法需要特别处理的挑战。

序贯决策核心要素：深度剖析

一个完整的强化学习问题由以下六个相互关联的核心要素构成。精确理解这些要素的定义、形式与相互作用，是正确建模与选择算法的前提。

状态：智能体感知的宇宙

状态 $ s_t $ 是智能体在时间步 $ t $ 对环境的一种描述或感知。状态空间 $ \mathcal{S} $ 可以是离散的（如棋盘上的格子编号）、连续的（如机器人关节角度向量）或两者的混合。状态的设计直接影响问题的可解性与算法效率。

从信息完备性角度，状态可分为三类： 1. 完全可观测状态：状态包含决策所需的所有历史信息，满足马尔可夫性质。例如，在有限记忆的网格世界中，智能体的位置坐标就是完全可观测状态。 2. 部分可观测状态：状态本身不包含足够信息，智能体需要依赖历史观测来推断真实状态。这是POMDP的设定，后文详述。 3. 经验状态：在深度强化学习中，状态常被表示为高维原始数据（如图像、激光雷达点云）。此时，智能体需要从原始数据中提取出对决策有用的特征表示，这通常由深度神经网络完成。例如，在Atari游戏《Pong》中，状态是当前帧与过去数帧堆叠的像素矩阵 $ (84 \times 84 \times 4) $。

状态表示的设计原则是信息充分且冗余最小。包含无关信息（如背景纹理）会增加学习难度；而信息不足（如仅看到局部视野）则可能使问题变得不可解或需要更复杂的记忆机制。

动作：智能体改变世界的方式

动作 $ a_t $ 是智能体在状态 $ s_t $ 下可以执行的操作。动作空间 $ \mathcal{A} $ 的结构对算法选择有决定性影响。

**离散动作空间**：动作数量有限且可枚举。例如，在雅达利游戏中，动作集通常为 {“不动”, “开火”, “上”, “下”, “左”, “右”} 等4-18个离散值。处理离散动作的算法（如DQN）通常使用**softmax**或**ε-greedy**输出每个动作的概率，或直接输出每个动作的Q值。
**连续动作空间**：动作是高维实数向量，如机器人 torque 控制信号、自动驾驶的转向角与油门。处理连续动作的算法（如DDPG、SAC、PPO）通常让策略网络直接输出动作的**均值与方差**（对于随机策略）或直接输出确定性动作值。动作通常需要经过**有界化**处理（如使用tanh激活函数映射到[-1,1]），再缩放到环境实际允许的范围。

动作的时间粒度也需定义。是每一步执行一个原子动作，还是允许宏动作（macro-action，如“走到某个位置”序列）？这影响决策频率与规划深度。

策略：智能体的行为准则

策略 $ \pi $ 是智能体从状态到动作的映射，是强化学习要学习的核心对象。它分为两类：

**确定性策略**（Deterministic Policy）：$ a = \mu(s) $，给定状态，动作唯一确定。适用于连续动作空间控制问题，行为更稳定，但缺乏探索内在性，需额外添加噪声（如Ornstein-Uhlenbeck过程）。
**随机性策略**（Stochastic Policy）：$ \pi(a|s) $ 是在状态 $ s $ 下选择动作 $ a $ 的概率分布。这是更一般的表达，确定性策略可视为其特例（概率为1）。随机性策略天然支持探索，尤其在离散动作空间中，可通过熵正则化鼓励更均匀的分布。

在深度强化学习中，策略通常由参数化的函数 approximator（如神经网络）表示：$ \pi_{\theta}(a|s) $ 或 $ \mu_{\theta}(s) $，其中 $ \theta $ 是网络参数。学习的目标就是找到最优参数 $ \theta^* $ 使得期望累积奖励最大化。

奖励函数：目标的唯一信号源

奖励函数 $ R(s, a, s') $ 或 $ R(s, a) $ 是环境反馈给智能体的标量数值信号，定义了任务的目标。它是强化学习问题的唯一监督信号，所有学习都围绕其展开。

奖励设计是强化学习工程中最困难也最关键的环节之一，常被称为“奖励塑形”（Reward Shaping）。设计原则包括：

**稀疏奖励**：仅在达成最终目标时给予奖励（如迷宫到达终点+1，否则0）。这导致信用分配问题极其严重，探索非常困难。
**密集奖励**：为中间进展提供小奖励（如每靠近目标一步+0.1）。这能引导学习，但**不当的密集奖励可能改变问题的最优策略**（Ng et al., 1999的潜在塑造定理）。例如，为“避免撞墙”设计惩罚，若惩罚过重，智能体可能学会“永远不动”而非“安全通过”。
**奖励尺度**：奖励值的大小影响学习稳定性。过大可能导致梯度爆炸，过小则梯度消失。通常需要进行**奖励归一化**或**缩放**。
**内在动机**：为解决稀疏奖励，可设计额外奖励，如**好奇心**（预测环境动态的误差作为奖励）、**计数型奖励**（访问新状态给予奖励），这些不依赖于任务外部目标，能有效促进探索。

奖励函数定义了“什么是好”，但如何高效地获得它，则依赖于策略、价值函数等辅助概念的引入。

转移动理学：环境的运作规则

转移动理学由状态转移概率函数 $ P: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \mapsto [0,1] $ 描述，定义为 $ P(s' | s, a) = \Pr(S_{t+1} = s' | S_t = s, A_t = a) $。它刻画了环境对智能体动作的响应。

若 $ P $ **已知**，问题可视为**规划问题**，可用动态规划（DP）、蒙特卡洛树搜索（MCTS）等求解。
若 $ P $ **未知**（绝大多数现实场景），智能体必须通过交互**学习**。此时，算法分为**基于模型**（Model-based）与**无模型**（Model-free）两类。无模型方法（如Q-learning、策略梯度）直接估计价值函数或优化策略，不显式学习 $ P $；基于模型方法（如MBPO、Dreamer）则尝试学习一个环境模型 $ \hat{P} $，并利用其进行想象rollout或规划，以提升样本效率。

转移动理学的确定性或随机性也影响算法。若 $ P(s'|s,a) $ 是单点分布（即 $ s' = f(s,a) $ 是确定性函数），则环境是确定性的，学习相对容易；若存在随机性（如游戏中的随机初始状态、动作执行噪声），则算法需要更强的鲁棒性。

折扣因子：连接现在与未来的桥梁

折扣因子 $ \gamma \in [0,1] $ 用于计算折扣累积奖励（Discounted Return）： $$ G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} $$ 其作用至关重要：

1. 数学收敛：当 $ \gamma < 1 $ 且奖励有界时，无限和是有限的，便于理论分析。 2. 时间偏好：$ \gamma $ 越小，智能体越“短视”，重视即时奖励；$ \gamma $ 越接近1，智能体越“远见”，重视长期收益。在持续任务中，$ \gamma=1 $ 可能导致价值函数发散（除非保证每个episode终止且奖励为零）。 3. 经济学解释：$ \gamma $ 可视为贴现率，反映未来奖励的当前价值。$ \gamma = 0.99 $ 意味着1步后的奖励价值衰减为99%，100步后衰减到约 $ 0.99^{100} \approx 0.366 $。 4. 避免循环：在存在正反馈循环的MDP中（如“踩油门获得奖励，踩油门又导致更多奖励”），$ \gamma < 1 $ 能保证价值函数有界。

折扣因子是超参数，通常设为0.99、0.995或0.999，取决于任务的时间尺度。在平均奖励（Average Reward）框架下，可设 $ \gamma \to 1 $，但理论更复杂。

部分可观测马尔可夫决策过程：更一般的设定

现实世界中的智能体（如机器人、自动驾驶汽车）很少能获得完全可观测的状态。传感器存在噪声、视野受限、信息延迟，导致智能体观测到的 $ o_t \in \mathcal{O} $ 只是真实状态 $ s_t $ 的一个不完整、有噪声的投影。这催生了部分可观测马尔可夫决策过程（POMDP）模型。

POMDP在MDP基础上增加了观测函数 $ O(o|s,a) = \Pr(O_t = o | S_t = s, A_{t-1}=a) $。智能体的历史信息是观测序列 $ o_1, a_1, o_2, a_2, \dots, o_t $。决策只能基于此历史，而非真实状态 $ s_t $。POMDP的核心挑战是：最优策略可能需要依赖于整个观测历史，导致策略空间巨大且难以参数化。

POMDP的求解通常通过信念状态（Belief State）将问题转化为完全可观测的MDP。信念状态 $ b_t(s) $ 是在历史 $ h_t = (o_1, a_1, \dots, a_{t-1}, o_t) $ 下，真实状态为 $ s $ 的后验概率分布：$ b_t(s) = \Pr(S_t = s | h_t) $。根据贝叶斯规则，信念可以递归更新： $$ b_{t+1}(s') = \eta O(o_{t+1}|s', a_t) \sum_{s \in \mathcal{S}} P(s'|s, a_t) b_t(s) $$ 其中 $ \eta $ 是归一化常数。这样，POMDP就等价于一个在连续、高维信念空间上的MDP。然而，维护和表示精确信念在连续状态空间中几乎不可能，因此实践中常采用： 1. 显式记忆网络：使用循环神经网络（RNN）、长短时记忆网络（LSTM）或Transformer来编码历史观测序列，其隐藏状态作为对信念的近似。 2. belief 近似：在离散状态空间，可维护一个概率向量；在连续空间，可学习一个生成模型（如变分自编码器）来隐式表示信念。 3. 问题重构：通过增加状态维度（如将过去N帧堆叠）来提供短期记忆，这在视觉任务中常见，但仅对短期依赖有效。

POMDP是强化学习在真实物理世界应用的理论基础，理解其与MDP的差异，是设计鲁棒智能体的关键。

经典案例：从问题到模型的三次实践

理论框架需通过具体建模来巩固。以下三个案例覆盖了离散/连续状态、稀疏/密集奖励、完全/部分可观测等不同维度，展示如何将自然语言描述的问题转化为形式化的MDP/POMDP。

案例一：网格迷宫导航（完全可观测，离散空间）

问题描述：一个机器人在 $ N \times N $ 的网格世界中，从起点 (S) 移动到终点 (G)。网格中有障碍物（#），机器人每次可以向上、下、左、右移动一格。撞到障碍物或边界则停留在原地。到达终点获得奖励+10，每走一步获得小奖励-0.01（鼓励效率），撞墙无额外惩罚。任务在最多 $ 2N^2 $ 步后终止。

建模分析：

**状态 $ s $**：机器人的网格坐标 $ (x, y) $，是离散且完全可观测的。状态空间大小 $ |\mathcal{S}| = N^2 $。
**动作 $ a $**：{上, 下, 左, 右}，离散，$ |\mathcal{A}| = 4 $。
**奖励函数 $ R $**：$ R(s,a,s') = +10 $ 若 $ s' = G $; $ R(s,a,s') = -0.01 $ 若 $ s' \neq G $ 且移动成功（或撞墙停留也可视为-0.01，取决于定义）。这是一个**密集奖励**，但主目标稀疏（终点奖励大）。
**转移动理学 $ P $**：通常是确定性的，$ P(s'|s,a) = 1 $ 若 $ a $ 导致从 $ s $ 到 $ s' $ 的合法移动，否则若撞墙则 $ P(s|s,a)=1 $。但可加入随机性（如动作执行失败概率ε），使环境随机化，提升策略鲁棒性。
**折扣因子 $ \gamma $**：由于任务有最大步数限制，且每步惩罚很小，$ \gamma $ 可设为接近1的值（如0.99），以重视最终大奖励。若任务无终止，则必须设 $ \gamma < 1 $。
**策略 $ \pi $**：由于状态和动作空间小，可用表格型策略 $ \pi(a|s) $ 表示。深度强化学习中，可用一个小型全连接网络，输入坐标的one-hot