强化学习范式界定 / Reinforcement Learning Paradigm Definition

人工智能（Artificial Intelligence, AI）领域的三大主流机器学习范式——监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）与强化学习（Reinforcement Learning）——分别对应着不同的学习逻辑与应用场景。其中，强化学习以“智能体通过与环境交互的试错过程最大化长期奖励”为核心逻辑，是当前实现通用人工智能（Artificial General Intelligence, AGI）最具潜力的技术路径之一，AlphaGo、自动驾驶决策系统、大语言模型的指令微调等标志性成果的背后，都有强化学习算法的核心支撑。本章的核心目标是形式化界定强化学习的核心范式，明确其与另外两类机器学习范式的本质差异，梳理领域的发展脉络，为后续章节的深入学习建立清晰的认知框架。

1.1 机器学习三大范式的核心差异界定

机器学习领域目前公认的三大研究范式的核心差异体现在反馈信号的形式、数据生成方式、优化目标与问题属性四个核心维度，三者的边界并非绝对互斥，很多前沿研究会结合多类范式的优势，但核心逻辑的差异是区分不同方法的基础。

1.1.1 监督学习：基于标注数据的映射拟合

监督学习的核心逻辑是从预定义的静态标注数据集中学习输入到输出的映射关系，其优化目标可形式化为： $$\min_{\theta} \mathbb{E}_{(x,y)\sim\mathcal{D}}[\ell(f_{\theta}(x), y)]$$ 其中$\mathcal{D}$为独立同分布的静态标注数据集，$x$为输入特征（如图像像素、文本序列），$y$为对应的标注标签（如分类标签、回归值），$f_{\theta}$为参数为$\theta$的预测模型，$\ell$为衡量预测值与标签差异的损失函数。监督学习的典型任务包括图像分类、目标检测、语音识别等，其核心优势是学习效率高、理论成熟，但严重依赖大规模标注数据，且仅能处理静态单步决策问题，无法应对需要序列决策的复杂场景。

1.1.2 无监督学习：基于无标注数据的结构挖掘

无监督学习的输入为无标注数据集$\mathcal{D}=\{x_1,x_2,...,x_N\}$，无对应的显式标签信号，其核心目标是挖掘数据内在的统计结构，典型任务包括聚类（Clustering）、降维（Dimensionality Reduction）、生成建模（Generative Modeling）等。以聚类任务为例，其优化目标可表示为最小化类内样本的距离： $$\min_{C_1,C_2,...,C_K} \sum_{k=1}^K \sum_{x_i\in C_k} \|x_i - \mu_k\|^2$$ 其中$C_k$为第$k$个聚类簇，$\mu_k$为簇$k$的质心，$K$为预设的聚类数量。无监督学习的优势是不需要标注数据，可应用于标注成本极高的场景，但其输出通常需要后续任务进行验证，无法直接用于决策任务。

1.1.3 强化学习：基于交互试错的长期回报优化

强化学习则完全不同于前两类范式：其无预定义的静态标注数据集，智能体（Agent）通过与环境（Environment）的持续交互生成训练数据，反馈信号为环境返回的标量奖励（Reward）$r_t$，该信号通常具有延迟性、稀疏性与噪声性——即奖励可能在与环境交互数十步甚至数百步后才给出，且并非每一步都有非零奖励，甚至可能包含环境噪声。强化学习的优化目标是最大化智能体从环境中获得的长期累积折扣奖励，形式化表示为： $$\max_{\pi} \mathbb{E}_{\tau\sim p_{\pi}(\tau)}\left[\sum_{t=0}^{T} \gamma^t r_t\right]$$ 其中$\pi$为智能体的策略（Policy），即从状态到动作的映射规则；$\tau=(s_0,a_0,r_0,s_1,a_1,r_1,...,s_T)$为一次交互的轨迹（Trajectory）；$p_{\pi}(\tau)$为策略$\pi$生成轨迹的概率分布；$\gamma\in[0,1)$为折扣因子（Discount Factor），用于权衡当前奖励与未来奖励的重要性。强化学习的典型任务包括游戏博弈、机器人控制、自动驾驶决策、推荐系统排序等，其核心优势是不需要标注数据，可通过试错学习超越人类水平的策略，但训练效率低、样本需求量大，且奖励函数的设计难度极高。

> 📌 侧边栏1：强化学习与监督学习的典型场景对比 > 以“教AI玩超级马里奥”为例： > - 若采用监督学习，需要收集大量人类玩家的操作录像，标注每一步的状态对应的正确动作，模型通过拟合这些标注数据

……学习输入-输出的映射关系；若遇到训练集中没有的新型敌人或隐藏关卡，模型无法输出正确的操作，泛化能力严重受限。而采用强化学习范式时，只需定义奖励函数：例如通关获得1000分奖励、踩死敌人获得10分奖励、掉落悬崖获得-100分惩罚，智能体无需任何标注数据，通过随机探索、试错迭代自动学习最优操作策略，最终甚至可能发现人类玩家未想到的速通路径，实现超越人类的表现。这种“无需标注、通过试错优化长期目标”的特性，是强化学习区别于另外两类范式的核心标识。

除了反馈信号与优化目标的差异，强化学习还存在两类监督/无监督学习不存在的核心挑战：其一为奖励延迟性（Reward Delay），即时奖励往往无法直接反映动作的长期价值，例如玩超级马里奥时踩死敌人的即时奖励仅为10分，但该动作可能帮助智能体避免后续被敌人阻挡而无法通关，最终的1000分通关奖励才是该动作的真实价值体现，智能体需要学会将延迟的长期奖励回溯关联到之前的动作序列；其二为探索-利用权衡（Exploration-Exploitation Trade-off），智能体需要在“选择已知奖励最高的动作（利用）”和“探索未知动作以发现更高奖励（探索）”之间做平衡，过度利用会陷入局部最优，过度探索则无法收敛到有效策略。以多臂老虎机（Multi-Armed Bandit）这一强化学习的简化基准问题为例：假设有3个摇臂，每个摇臂 Pull 后会按照未知的分布给出奖励，智能体的目标是在固定步数内最大化总奖励。若智能体一直Pull已知奖励最高的摇臂，可能错过其他两个摇臂有更高奖励的可能性；若一直随机探索未知摇臂，又会浪费大量步数在低奖励动作上，这种权衡是强化学习独有的核心问题，也是各类算法设计的关键考量。

---

1.2 智能体-环境交互的通用范式

所有单智能体强化学习问题都可以形式化建模为马尔可夫决策过程（Markov Decision Process, MDP），MDP为智能体与环境的交互提供了标准化的数学框架，也是后续所有强化学习算法的理论基础。

1.2.1 马尔可夫决策过程的数学定义

一个完整的马尔可夫决策过程由五元组$\mathcal{M} = (\mathcal{S}, \mathcal{A}, P, R, \gamma)$定义，各元素的含义与数学定义如下： 1. 状态空间$\mathcal{S}$：所有可能环境状态的集合，可以是有限离散集（如网格世界的100个格子位置）或无限连续集（如机械臂的关节角度、速度组成的高维连续空间），状态是智能体观测环境、做决策的依据。 2. 动作空间$\mathcal{A}$：智能体可以执行的所有动作的集合，同样可以是离散或连续空间，例如自动驾驶汽车的动作空间是连续的（方向盘转角、油门/刹车力度），而棋盘游戏的动作空间是离散的（所有合法落子位置）。 3. 状态转移概率$P$：定义为$P(s'|s,a) = \Pr(s_{t+1} = s' | s_t = s, a_t = a)$，表示智能体在状态$s$执行动作$a$后，环境转移到状态$s'$的概率，完全刻画了环境的动力学特性。若转移概率是确定的（即$P(s'|s,a)=1$），则环境是确定性的，例如固定规则的游戏；若转移概率是随机的，则环境存在随机性，例如带有随机事件的游戏、真实世界的物理系统。 4. 奖励函数$R$：定义为$R(s,a,s') = \mathbb{E}[r_t | s_t=s, a_t=a, s_{t+1}=s']$，表示智能体从状态$s$执行动作$a$转移到$s'$时获得的即时标量奖励$r_t$，奖励函数是人为设计的，直接定义了智能体的学习目标，奖励设计的合理性直接决定了智能体最终学习到的策略是否符合预期。 5. 折扣因子$\gamma \in [0,1)$：用于权衡即时奖励与未来奖励的重要性，智能体的总目标是最大化折扣累积奖励（Discounted Return），即$G_t = \sum_{k=0}^{T-t} \gamma^k r_{t+k}$，其中$T$为交互的终止时间步。当$\gamma$接近1时，智能体更关注长期收益，适合需要长期规划的任务（如围棋、机器人长程控制）；当$\gamma$接近0时，智能体更关注即时奖励，适合短期反馈明确的任务（如短周期推荐排序）。

MDP的核心假设是马尔可夫性（Markov Property）：未来状态的概率分布仅依赖当前状态和动作，与过去的所有历史状态和动作无关，形式化表示为： $$\Pr(s_{t+1} | s_t, a_t, s_{t-1}, a_{t-1}, ..., s_0, a_0) = \Pr(s_{t+1} | s_t, a_t)$$ 该性质保证了强化学习的优化问题可以通过递归的方式求解，无需存储完整的交互历史。例如玩超级马里奥时，若当前屏幕的RGB像素已经包含了所有影响后续状态的历史信息（如之前是否吃到蘑菇、踩死的敌人数量），则问题满足马尔可夫性；若智能体只有局部传感器，只能观测到屏幕的一部分，则状态不包含完整的历史信息，此时需要将问题建模为部分可观测马尔可夫决策过程（Partially Observable MDP, POMDP），后续第10章会专门讲解POMDP的求解方法。

1.2.2 智能体-环境的交互循环

强化学习的核心是智能体与环境的持续交互，交互过程遵循固定的循环逻辑，可以用如下序列图描述： ```mermaid sequenceDiagram participant A as 智能体 (Agent) participant E as 环境 (Environment) Note over A,E: 交互循环开始 A->>A: 观测当前状态 s_t A->>A: 根据策略π选择动作 a_t ~ π(·|s_t) A->>E: 执行动作 a_t E->>E: 根据转移概率P生成 s_{t+1}、r_t E->>A: 返回奖励 r_t 和下一状态 s_{t+1} A->>A: 更新策略/价值函数 Note over A,E: 若未达到终止条件，进入下一轮循环 ```

该交互循环有三个核心特性，是强化学习区别于其他机器学习范式的关键： 1. 序贯性（Sequential）：动作的影响是长期且累积的，当前动作不仅决定当前的即时奖励，还会影响后续所有状态和奖励。例如自动驾驶中，当前选择减速避让行人的动作，不仅会获得“安全”的即时奖励，还会影响后续的行车路线、通行效率，甚至避免潜在的交通事故。 2. 反馈延迟性（Delayed Reward）：奖励往往在交互多步之后才能获得，且中间的反馈信号可能非常稀疏。例如围棋对弈中，最终的胜负奖励要等到下完整盘棋才能得到，中间的每一步落子的价值都需要智能体自行学习评估。 3. 数据非独立同分布：智能体的训练数据是交互生成的时序序列，相邻步骤的状态、动作、奖励高度相关，无法直接套用监督学习中基于独立同分布数据的优化方法，需要专门的经验回放、时序差分等技术处理。

1.2.3 交互范式的代码示例

为帮助读者直观理解交互逻辑，以下代码基于主流强化学习库Gymnasium，演示智能体与CartPole（倒立摆）环境的交互过程：倒立摆任务的目标是控制小车左右移动，让摆杆保持竖直不倒，每多坚持一步获得+1奖励，摆杆倒下或小车离开轨道则任务终止。 ```python import gymnasium as gym

初始化倒立摆环境，状态为4维连续向量[小车位置, 小车速度, 摆杆角度, 摆杆角速度]

动作空间为离散2维：0=左推，1=右推

env = gym.make("CartPole-v1")

重置环境，返回初始状态和额外信息

1.2.2 智能体-环境交互的代码示例（续）

为帮助读者直观理解交互逻辑，以下代码基于当前强化学习领域通用的Gymnasium库（OpenAI Gym的官方维护版本），演示智能体与CartPole（倒立摆）环境的完整交互过程：倒立摆任务的目标是控制小车左右移动，让摆杆保持竖直不倒，每多坚持一步获得+1奖励，摆杆角度超过15度或小车位移超过2.4米则任务终止，最大步数限制为500步。 ```python import gymnasium as gym

初始化倒立摆环境：状态为4维连续向量[小车位置, 小车速度, 摆杆角度, 摆杆角速度]

动作空间为离散2维：0=向左推小车，1=向右推小车

env = gym.make("CartPole-v1")

重置环境，返回初始状态obs和额外诊断信息info

obs, info = env.reset(seed=42) # 固定随机种子保证可复现 total_reward = 0

交互循环：最多执行500步（环境默认最大步数）

for step in range(500):

随机采样动作（实际应用中会用训练好的策略网络输出动作概率）

action = env.action_space.sample()

执行动作，返回下一状态、即时奖励、是否因失败终止、是否因步数截断、额外信息

next_obs, reward, terminated, truncated, info = env.step(action) total_reward += reward

打印单步交互信息

print(f"Step {step:3d} | Action: {action} | Reward: {reward} | Total Reward: {total_reward}") obs = next_obs

若摆杆倒下/小车出界（terminated）或达到最大步数（truncated），终止交互

if terminated or truncated: print(f"\nEpisode ended at step {step}, final total reward: {total_reward}") break

关闭环境，释放资源

env.close() ``` 该代码的典型运行输出如下（随机种子固定时的输出）： ``` Step 0 | Action: 1 | Reward: 1 | Total Reward: 1 Step 1 | Action: 1 | Reward: 1 | Total Reward: 2 ... Step 187 | Action: 1 | Reward: 1 | Total Reward: 188 Episode ended at step 188, final total reward: 188 ``` 代码中`terminated`和`truncated`是Gymnasium库引入的两个终止标志，用于区分不同的任务结束原因：`terminated`表示环境因达到失败条件（如倒立摆倒下、游戏角色死亡）提前终止，`truncated`表示环境因达到预设的最大步数/时间限制正常截断。这种区分对离线强化学习、奖励函数设计等场景有重要影响：例如倒立摆任务中，因`truncated`结束的轨迹仍然包含有效的学习信号，而因`terminated`结束的轨迹需要额外标注失败惩罚。 上述交互循环是所有单智能体强化学习算法的通用执行逻辑：无论算法是简单的Q-learning还是复杂的AlphaGo，其核心都是“观测-决策-执行-反馈”的循环迭代，差异仅在于智能体选择动作的规则（策略）和更新决策逻辑的方式（学习算法）不同。

---

1.3 强化学习的发展脉络

强化学习的理论体系经历了从经典动态规划到深度强化学习、再到与大模型等前沿技术融合的三个主要阶段，每个阶段的突破都对应着特定场景的需求与技术条件的成熟。

1.3.1 经典强化学习时期（1950s-2012）

强化学习的理论基础可追溯到20世纪50年代的马尔可夫链与动态规划研究。1954年，理查德·贝尔曼（Richard Bellman）提出贝尔曼方程（Bellman Equation），为马尔可夫决策过程的求解提供了递归优化框架，奠定了强化学习的数学基础；1957年，贝尔曼进一步提出“动态规划（Dynamic Programming, DP）”的概念，实现了小规模MDP问题的最优求解。 1980年代是经典强化学习算法的成型期：1989年，克里斯·沃特金斯（Chris Watkins）提出Q-learning算法，首次实现了无需环境模型、基于时序差分更新的无模型强化学习方法，解决了动态规划需要已知环境转移概率的局限性；1992年，萨顿（Richard S. Sutton）提出时序差分学习（Temporal Difference Learning, TD） 框架，结合了动态规划的迭代更新与蒙特卡洛方法的采样特性，大幅提升了样本效率；同年，杰拉尔德·泰萨罗（Gerald Tesauro）基于TD学习算法开发的TD-Gammon程序在西洋双陆棋（Backgammon）任务中达到人类职业玩家水平，是首个在复杂游戏任务中超越人类的强化学习系统，验证了强化学习在序贯决策任务中的潜力。 经典强化学习算法的核心局限性是维度爆炸（Curse of Dimensionality）：传统算法基于表格形式存储价值函数或策略，仅能处理状态空间和动作空间极小的问题（如网格世界、小的棋盘游戏），当状态空间为连续或高维（如图像像素、机械臂关节角度）时，表格形式的内存需求会呈指数级增长，完全无法落地。

1.3.2 深度强化学习爆发期（2013-2016）

深度学习的突破为强化学习解决维度爆炸问题提供了可能：2013年，DeepMind团队首次提出深度Q网络（Deep Q-Network, DQN） 算法，用深度神经网络近似Q函数，替代传统的Q表格，在49个Atari 2600游戏中达到或超过人类专业玩家水平，其中23个游戏的得分超过人类平均水平，验证了深度强化学习在高维感知决策任务中的可行性。DQ