Chapter 1: The Mathematical Universe of RL / 第1章：强化学习的数学宇宙

强化学习的数学宇宙由马尔可夫决策过程（Markov Decision Process, MDP）这一精密的数学结构所构建，它是连接智能体与环境交互的抽象桥梁。本章将系统性地解构MDP的每一个数学构件，从状态、动作到概率与奖励，层层递进地揭示其内在逻辑。我们将严格定义回报的累积形式与价值函数的本质，并推导出贝尔曼方程——这一贯穿全书的核心约束，它既是动态规划的基石，也是理解策略优化与价值逼近的钥匙。最终，通过一个微型网格世界（GridWorld）的完整建模案例，我们将把这些抽象符号转化为可计算、可编程的具体实例，展示如何将一个现实决策问题转化为MDP的数学表达。本章要求读者已掌握概率论中的条件概率、期望、随机变量等基本概念，以及线性代数中的向量、矩阵运算与逆矩阵求解，因为这些工具将频繁出现在后续的价值函数计算与算法分析中。

MDP五元组的精确定义

马尔可夫决策过程是强化学习问题最普遍的形式化框架，它通过一个五元组 $ \mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma) $ 来完整刻画一个决策环境。这里的每个元素都是一个数学对象，具有严格的定义域与值域，它们共同约束了智能体与环境的交互规则。

状态集（State Space） $ \mathcal{S} $： 环境可能呈现的所有情形的集合。状态$s \in \mathcal{S}$是对环境在某一时刻的完整描述，理论上应包含所有影响未来奖励的历史信息。状态集可以是有限的（finite），如棋类游戏的所有棋盘配置；也可以是无限的（infinite），如机器人连续控制中的关节角度与速度向量；甚至是连续空间（continuous），如自动驾驶中的道路曲率与车辆相对位置。状态的定义具有主观性，取决于建模者对“相关历史信息”的取舍，这直接决定了问题的复杂度。例如，在股票预测中，若仅使用当前价格作为状态，则忽略了市场情绪、新闻舆情等可能影响未来的信息，这种状态定义是不充分的。

动作集（Action Space） $ \mathcal{A} $： 智能体在任意状态下可以执行的所有决策的集合。动作$a \in \mathcal{A}$是智能体对环境的直接干预。与状态集类似，动作集也可以是有限、无限或连续的。在棋类游戏中，动作集是有限且离散的（如国际象棋中所有合法棋步）；在机器人控制中，动作可能是连续力矩或速度指令。一个关键约束是策略（Policy） $ \pi(a|s) $ 的定义域必须覆盖所有$ (s,a) $对，即对于每个状态$s$，策略必须为每个可能动作$a$赋予一个概率（或确定性地选择单一动作）。动作集的大小直接影响搜索空间的维度，是算法复杂度的核心参数。

状态转移概率（Transition Probability） $ P: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \to [0,1] $： 这是一个条件概率分布，$ P(s' | s, a) $ 表示在状态$s$下执行动作$a$后，环境转移到状态$s'$的概率。它必须满足概率公理：对于任意固定的$s$和$a$，有$ \sum_{s' \in \mathcal{S}} P(s' | s, a) = 1 $。转移概率刻画了环境的动力学（Dynamics）或物理规律，是MDP中唯一完全由环境决定、智能体无法直接改变的要素。在实际问题中，$P$通常未知，智能体需要通过与环境交互进行估计。转移概率的稀疏性（Sparsity）是一个重要特性：在许多离散状态空间中，从某个状态$s$采取动作$a$后，只能转移到少数几个确定的状态$s'$，此时$P(s'|s,a)$为1或0，这简化了计算。

奖励函数（Reward Function） $ R: \mathcal{S} \times \mathcal{A} \times \mathcal{S} \to \mathbb{R} $： 这是一个标量函数，$ R(s, a, s') $ 表示在状态$s$执行动作$a$并转移到状态$s'$后，环境立即给予智能体的数值反馈。有时奖励函数简化为$ R(s, a) $或$ R(s') $，取决于问题设定。奖励是驱动智能体学习的唯一信号，其设计直接决定了智能体的优化目标。奖励函数必须是有界的（Bounded），即存在常数$R_{\text{max}}$使得$ |R(s,a,s')| \leq R_{\text{max}} $对所有$s,a,s'$成立，这是保证价值函数收敛与算法稳定性的关键假设。奖励设计是一门艺术，需要避免奖励黑客（Reward Hacking）现象，即智能体发现并利用奖励函数的漏洞获得高奖励却未实现真实意图。例如，为清洁机器人设计“减少灰尘量”的奖励，机器人可能将灰尘藏在难以检测的角落。

折扣因子（Discount Factor） $ \gamma \in [0,1] $： 这是一个标量系数，用于权衡当前奖励与未来奖励的重要性。当$ \gamma = 0 $时，智能体只关心即时奖励，成为短视（Myopic）的；当$ \gamma \to 1 $时，智能体更重视长期累积奖励，但可能导致价值函数发散或学习不稳定。折扣因子的引入有两个深层原因：一是数学上保证无限回报的绝对收敛性，因为$ \sum_{t=0}^{\infty} \gamma^t R_{\text{max}} $在$ \gamma < 1 $时是收敛的几何级数；二是模拟经济学中的时间偏好（Time Preference），即当前的一单位奖励比未来的一单位奖励更有价值。在有限时域（Episodic）问题中，如果每个回合有最大步数$T$，则$ \gamma $可以设为1，因为回报总和是有限的。

五元组$ (\mathcal{S}, \mathcal{A}, P, R, \gamma) $共同定义了一个环境模型（Environment Model）。当智能体与环境交互时，遵循一个策略（Policy） $ \pi $，它是从状态到动作的映射：$ \pi: \mathcal{S} \to \mathcal{A} $（确定性策略）或$ \pi: \mathcal{S} \times \mathcal{A} \to [0,1] $（随机性策略，满足$ \sum_{a} \pi(a|s) = 1 $）。策略是智能体的行为准则，是我们最终希望优化的对象。整个交互过程形成一个轨迹（Trajectory）或回合（Episode）：$ S_0, A_0, R_1, S_1, A_1, R_2, \dots $，其中$ S_{t+1} \sim P(\cdot | S_t, A_t) $，$ A_t \sim \pi(\cdot | S_t) $，$ R_{t+1} = R(S_t, A_t, S_{t+1}) $。

```mermaid graph TD S_t[状态 S_t] -->|根据策略 π 选择| A_t[动作 A_t] A_t -->|根据转移概率 P 采样| S_t1[状态 S_{t+1}] S_t1 -->|根据奖励函数 R 获取| R_t1[奖励 R_{t+1}] S_t1 -->|成为下一时刻状态| S_t ```

上图描绘了MDP中单步交互的因果循环：智能体基于当前状态$S_t$，通过策略$ \pi $选择动作$A_t$；环境根据转移概率$P$演化到下一状态$S_{t+1}$，并依据奖励函数$R$给出即时奖励$R_{t+1}$。这个循环在时间上无限（连续任务）或直到终止状态（回合任务）持续进行。值得注意的是，转移概率$P$和奖励函数$R$是环境的固有属性，在交互过程中保持不变，而策略$ \pi $是智能体可以调整的变量。我们的目标是找到一个最优策略$ \pi^* $，使得智能体从长期交互中获得的累积奖励最大。

马尔可夫性质：无记忆的未来

MDP名称中的“马尔可夫”源于马尔可夫性质（Markov Property），它是整个数学框架的基石。形式化地，一个过程具有马尔可夫性质，当且仅当下一个状态的条件分布仅依赖于当前状态和动作，而与过去的所有状态和动作序列无关：

$$ P(S_{t+1} = s' | S_t = s, A_t = a, S_{t-1}, A_{t-1}, \dots, S_0, A_0) = P(S_{t+1} = s' | S_t = s, A_t = a) $$

这个等式意味着，给定当前状态$s$和动作$a$，未来状态$s'$的概率与智能体是如何到达$s$的无关。换言之，当前状态$s$包含了预测未来所需的所有历史信息。如果这个假设成立，那么状态$s$被称为充分统计量（Sufficient Statistic）。

马尔可夫性质是一个强大的简化假设，它将一个可能依赖无限历史的条件概率分布，压缩为仅依赖当前时刻的局部条件分布。这使得问题在数学上可处理，因为决策仅需基于当前状态，而不需要维护整个历史轨迹。然而，现实世界中的许多问题并不严格满足马尔可夫性质。例如，在部分可观测环境中，智能体无法直接获取真实状态$S_t$，而只能观测到$O_t$，此时问题应建模为部分可观测马尔可夫决策过程（POMDP）。在POMDP中，最优策略可能需要维护一个关于真实状态的信念分布（Belief State），这大大增加了问题的复杂度。但在许多设计良好的状态表示下，我们可以构造出近似马尔可夫的状态。例如，在视频游戏中，如果状态定义为连续多帧的图像，则帧与帧之间可能具有马尔可夫性；如果仅定义为当前帧，则可能不满足，因为运动速度、方向等信息被丢失。

从数学上看，马尔可夫性质等价于转移概率$P(s'|s,a)$完全定义了环境的动力学。任何不满足马尔可夫性质的问题，都可以通过状态增广（State Augmentation）来强制满足：将足够多的历史信息纳入状态定义，直到条件独立性成立。例如，在金融交易中，若仅使用当前股价作为状态，则未来价格可能依赖于价格的变化趋势（动量）或波动率，因此不满足马尔可夫性。但如果将状态定义为“当前股价、过去N天的收益率序列、波动率估计”，则可能近似满足马尔可夫性。这种增广是建模艺术的核心：在计算可行性与信息充分性之间取得平衡。

回报与价值函数：累积奖励的数学表达

智能体的终极目标是最大化其在整个交互过程中的累积奖励（Cumulative Reward），即回报（Return）。在无限时域（Continuing）问题中，从时刻$t$开始的回报定义为未来所有即时奖励的折扣（Discounted）总和：

$$ G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \dots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} $$

其中$ \gamma \in [0,1) $是折扣因子。当$ \gamma < 1 $时，由于$ \gamma^k \to 0 $，即使奖励序列无限长，只要奖励有界，$ G_t $几乎必然收敛。折扣因子的存在使得远期奖励对当前决策的影响呈指数衰减，这反映了“远水难解近渴”的直觉，也在数学上保证了优化问题的良好定义。

在有限时域（Episodic）问题中，每个回合在有限步$T$后终止（例如，游戏胜利/失败，机器人到达目标）。此时回报可定义为：

$$ G_t = R_{t+1} + R_{t+2} + \dots + R_T = \sum_{k=t}^{T-1} R_{k+1} $$

这里通常设$ \gamma = 1 $，因为总和有限。但有时即使回合有限，仍使用$ \gamma < 1 $以强调近期奖励，或使不同长度回合的价值具有可比性。

由于未来奖励具有随机性（由转移概率$P$和策略$ \pi $决定），我们关注的是回报的期望值。这引出了两个核心概念：状态价值函数（State-Value Function）和动作价值函数（Action-Value Function）。

状态价值函数 $ V^\pi(s) $

给定策略$ \pi $，状态价值函数$ V^\pi: \mathcal{S} \to \mathbb{R} $定义为从状态$s$开始，遵循策略$ \pi $所能获得的期望回报：

$$ V^\pi(s) = \mathbb{E}_\pi [ G_t | S_t = s ] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \Bigg| S_t = s \right] $$

这里的期望$ \mathbb{E}_\pi [ \cdot ] $表示在策略$ \pi $和转移概率$P$共同作用下的随机性平均。$ V^\pi(s) $衡量了状态$s$的“好坏程度”：如果$ V^\pi(s) $高，意味着从$s$出发长期来看能获得高奖励；反之则差。$ V^\pi $是策略$ \pi $的评估函数，它告诉我们策略$ \pi $在每个状态下的表现。

动作价值函数 $ Q^\pi(s,a) $

给定策略$ \pi $，动作价值函数$ Q^\pi: \mathcal{S} \times \mathcal{A} \to \mathbb{R} $定义为在状态$s$下先执行动作$a$，然后遵循策略$ \pi $所能获得的期望回报：

$$ Q^\pi(s, a) = \mathbb{E}_\pi [ G_t | S_t = s, A_t = a ] = \mathbb{E}_\pi \left[ \sum_{k=0}^{\infty} \gamma^k R_{t+k+1} \Bigg| S_t = s, A_t = a \right] $$

$ Q^\pi(s,a) $衡量了在状态$s$下采取动作$a$的长期价值，它直接指导动作选择：在状态$s$，最优动作应是使$ Q^\pi(s,a) $最大的$a$。因此，$ Q^\pi $常被称为行为价值函数（Action-Value Function），是许多算法（如Q-learning）的核心。

价值函数的关系

状态价值函数与动作价值函数通过策略$ \pi $紧密联系：

$$ V^\pi(s) = \sum_{a \in \mathcal{A}} \pi(a|s) Q^\pi(s, a) $$

$$ Q^\pi(s, a) = \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ R(s,a,s') + \gamma V^\pi(s') \right] $$

第二个等式是贝尔曼期望方程（Bellman Expectation Equation）的$Q$函数形式，它表达了$Q^\pi(s,a)$的递归结构：当前动作的价值等于即时奖励$R(s,a,s')$加上下一状态$s'$的价值$V^\pi(s')$的期望，再乘以折扣因子$ \gamma $。这里，下一状态$s'$的分布由$P(s'|s,a)$给出，而下一状态的价值又依赖于后续策略$ \pi $。这两个方程将价值函数与即时奖励、转移概率、策略联系起来，构成了动态规划与强化学习算法的理论基础。

从期望的定义出发，我们可以严格推导$Q^\pi$的贝尔曼方程。根据回报定义：

$$ Q^\pi(s,a) = \mathbb{E}_\pi \left[ R_{t+1} + \gamma \sum_{k=0}^{\infty} \gamma^k R_{t+k+2} \Bigg| S_t=s, A_t=a \right] $$

令$G_{t+1} = \sum_{k=0}^{\infty} \gamma^k R_{t+k+2}$，则：

$$ Q^\pi(s,a) = \mathbb{E}_\pi [ R_{t+1} + \gamma G_{t+1} | S_t=s, A_t=a ] $$

由全期望公式，对$S_{t+1}$取条件期望：

$$ Q^\pi(s,a) = \sum_{s' \in \mathcal{S}} P(s'|s,a) \mathbb{E}_\pi [ R_{t+1} + \gamma G_{t+1} | S_t=s, A_t=a, S_{t+1}=s' ] $$

在给定$s,a,s'$下，$R_{t+1}$的期望就是$R(s,a,s')$（如果奖励随机，则是其期望）。而$G_{t+1}$的期望，在给定$S_{t+1}=s'$下，正是从$s'$开始的期望回报，即$V^\pi(s')$，因为后续动作遵循策略$ \pi $。因此：

$$ Q^\pi(s,a) = \sum_{s' \in \mathcal{S}} P(s'|s,a) \left( R(s,a,s') + \gamma \mathbb{E}_\pi [ G_{t+1} | S_{t+1}=s' ] \right) = \sum_{s' \in \mathcal{S}} P(s'|s,a) \left( R(s,a,s') + \gamma V^\pi(s') \right) $$

这正是前文给出的$Q^\pi$贝尔曼期望方程。类似地，$V^\pi$的贝尔曼期望方程为：

$$ V^\pi(s) = \sum_{a \in \mathcal{A}} \pi(a|s) \sum_{s' \in \mathcal{S}} P(s'|s,a) \left( R(s,a,s') + \gamma V^\pi(s') \right) $$

这两个方程是线性方程，因为$V^\pi$和$Q^\pi$以线性形式出现在等式右侧。这为通过线性代数方法求解价值函数提供了可能。

贝尔曼方程：核心约束与线性视角

贝尔曼方程（Bellman Equation）是强化学习中最核心的数学工具，它由理查德·贝尔曼（Richard Bellman）在动态规划领域提出。在MDP框架下，存在两种主要形式的贝尔曼方程：贝尔曼期望方程（Bellman Expectation Equation），用于评估给定策略$ \pi $；以及贝尔曼最优方程（Bellman Optimality Equation），用于刻画最优策略$ \pi^* $的性质。

贝尔曼期望方程

如上节所述，对于任意策略$ \pi $，状态价值函数$ V^\pi $满足：

$$ V^\pi(s) = \sum_{a \in \mathcal{A}} \pi(a|s) \sum_{s' \in \mathcal{S}} P(s'|s,a) \left( R(s,a,s') + \gamma V^\pi(s') \right) $$

这可以写成更紧凑的算子形式。定义