第1章：机器学习范式与本书导览 / Chapter 1: Machine Learning Paradigms and Book Overview

机器学习作为人工智能的核心分支，其核心目标是从数据中自动学习模式并做出预测或决策。这一看似简洁的定义背后，隐藏着多样化的学习范式，它们对应于不同的数据形态、问题设定与评估标准。理解这些范式不仅是选择合适算法的前提，更是构建有效机器学习系统的基石。本文将系统性地阐述监督学习 (Supervised Learning)、无监督学习 (Unsupervised Learning)、半监督学习 (Semi-supervised Learning) 与强化学习 (Reinforcement Learning) 这四大基本范式，通过严谨的数学表述与丰富的实际案例，揭示它们的内在逻辑与外在应用。同时，本章亦将阐明本书的编纂结构、目标读者群体、中英双语特色

在监督学习的框架下，问题被形式化为从输入空间 $\mathcal{X}$ 到输出空间 $\mathcal{Y}$ 的映射函数 $f: \mathcal{X} \rightarrow \mathcal{Y}$ 的估计。给定独立同分布 (i.i.d.) 的训练样本集 $\mathcal{D} = \{ (x_i, y_i) \}_{i=1}^n$，其中 $x_i \in \mathcal{X}$，$y_i \in \mathcal{Y}$，学习过程旨在通过最小化期望风险 (Expected Risk) 来求解最优函数 $f^*$：

$$ \mathcal{R}(f) = \mathbb{E}_{(x,y) \sim \mathcal{D}} \left[ \ell(f(x), y) \right] $$

由于真实数据分布未知，实践中使用经验风险 (Empirical Risk) 近似，并通常引入正则化项 $\Omega(f)$ 以防止过拟合，从而得到结构风险最小化 (Structural Risk Minimization, SRM) 目标：

$$ \hat{\mathcal{R}}(f) = \frac{1}{n} \sum_{i=1}^{n} \ell(f(x_i), y_i) + \lambda \Omega(f) $$

其中 $\ell(\cdot, \cdot)$ 为任务相关的损失函数，$\lambda$ 为正则化系数。根据输出空间 $\mathcal{Y}$ 的性质，监督学习可细分为：

1. 分类 (Classification)：$\mathcal{Y}$ 为有限离散集合，如 $\{0, 1\}$（二分类）或 $\{1, 2, ..., K\}$（多分类）。损失函数常用0-1损失 $\ell_{\text{0-1}}(f(x), y) = \mathbb{I}[f(x) \neq y]$ 或交叉熵损失（针对概率输出模型）。

• **典型案例：图像分类**。以卷积神经网络 (Convolutional Neural Network, CNN) 在 ImageNet 数据集上的应用为例。输入 $x$ 为 $224 \times 224 \times 3$ 的像素矩阵，输出 $y$ 为 1000 个物体类别之一。模型 $f$（如 ResNet-50）最终层使用 Softmax 函数输出概率分布 $\hat{y} = \text{softmax}(W_{\text{last}} \cdot h + b)$，其中 $h$ 为倒数第二层的特征向量。训练目标是最小化**多分类交叉熵损失**：

$$ \ell_{\text{CE}}(\hat{y}, y) = -\sum_{k=1}^{1000} \mathbb{I}[y=k] \log(\hat{y}_k) $$ 通过反向传播与随机梯度下降 (SGD) 优化，模型学会从像素中提取层次化特征（边缘→纹理→部件→物体），最终在测试集上达到超过 90% 的 Top-1 准确率。此案例体现了监督学习对大规模标注数据的依赖以及端到端特征学习的能力。

2. 回归 (Regression)：$\mathcal{Y}$ 为连续实数集，如 $\mathbb{R}$ 或 $\mathbb{R}^d$。损失函数常用平方损失 $\ell(f(x), y) = (f(x) - y)^2$ 或绝对损失。

• **典型案例：房价预测**。输入 $x$ 包含房屋特征向量（面积、卧室数、地理位置、建造年份等），输出 $y$ 为连续的价格值。使用**梯度提升决策树 (Gradient Boosting Decision Tree, GBDT)** 模型（如 XGBoost, LightGBM），其目标函数同样为带正则化的经验风险最小化，但树结构的分裂点选择通过贪心算法优化平方损失。该案例展示了监督学习在处理**异构特征**（数值与类别）和**非线性关系**上的优势，且模型输出具有直观的可解释性（特征重要性得分）。

3. 结构化预测 (Structured Prediction)：$\mathcal{Y}$ 为具有复杂结构的对象，如序列、树、图。损失函数需定义在结构层面，如序列的编辑距离、句法的F1 分数。典型算法包括条件随机场 (Conditional Random Field, CRF) 和结构化支持向量机 (Structured SVM)。

• **典型案例：命名实体识别 (NER)**。输入 $x$ 为句子（单词序列），输出 $y$ 为对应的实体标签序列（如 `[PER, LOC, O, ...]`）。使用**线性链 CRF**，其预测分布为：

$$ P(y|x) = \frac{1}{Z(x)} \exp\left( \sum_{t=1}^{T} \sum_{k} \lambda_k f_k(y_{t-1}, y_t, x, t) \right) $$ 其中 $f_k$ 为定义在转移（$y_{t-1} \rightarrow y_t$）和状态（$y_t$ 与输入 $x$ 在位置 $t$ 的关系）上的特征函数，$Z(x)$ 为归一化因子。训练通过最大化训练序列的对数似然完成。此案例凸显了监督学习对输出空间复杂依赖关系建模的能力。

无监督学习 (Unsupervised Learning) 处理的是仅含输入数据 $\mathcal{D} = \{ x_i \}_{i=1}^n$，无对应输出标签 $y_i$ 的情形。其核心目标是探索数据的内在结构、分布或表示，可形式化为对数据生成过程 $p(x)$ 或数据潜在表示 $z$ 的建模。

1. 聚类 (Clustering)：将数据划分为 $K$ 个簇 $\{C_1, ..., C_K\}$，使得簇内相似度高，簇间相似度低。无明确的目标函数，但常见准则包括：

• **K-means**：最小化**簇内平方和** (Within-Cluster Sum of Squares, WCSS)。

$$ \min_{C, \mu} \sum_{k=1}^{K} \sum_{x_i \in C_k} \| x_i - \mu_k \|^2 $$ 其中 $\mu_k$ 为簇 $C_k$ 的质心。算法通过迭代的分配与更新步骤收敛。

• **DBSCAN**：基于**密度可达性**，能发现任意形状簇并识别噪声点。核心参数为邻域半径 $\epsilon$ 和最小点数 $MinPts$。
• **典型案例：客户细分**。电商平台拥有用户行为向量（购买频率、平均订单价、浏览品类等）。使用 K-means 对用户聚类，得到“高价值活跃用户”、“低频低价用户”、“流失风险用户”等群体。每个簇的质心向量提供了该群体的**原型画像**，为精准营销提供依据。此案例展示了无监督学习在**探索性数据分析**和**业务洞察发现**中的价值。

2. 降维 (Dimensionality Reduction)：将高维数据 $x \in \mathbb{R}^d$（$d$ 很大）映射到低维空间 $z \in \mathbb{R}^k$（$k \ll d$），同时保留关键信息（如方差、邻域结构、流形结构）。

• **主成分分析 (PCA)**：线性方法，寻找正交基 $\{u_1, ..., u_k\}$ 最大化投影后数据的方差。等价于对协方差矩阵 $\Sigma = \frac{1}{n} X^T X$ 进行**特征值分解**，取前 $k$ 个最大特征值对应的特征向量。

$$ z = X U_k, \quad U_k = [u_1, ..., u_k] \in \mathbb{R}^{d \times k} $$

• **t-分布随机邻域嵌入 (t-SNE)**：非线性方法，特别擅长可视化高维数据。通过优化**高维空间相似度**（高斯分布）与**低维空间相似度**（重尾的 t 分布）之间的 KL 散度，将数据嵌入 2D/3D。
• **典型案例：单细胞 RNA 测序数据分析**。每个细胞有数万个基因表达量（$d \sim 20,000$）。使用 PCA 进行初步去噪和压缩，再使用 t-SNE 或 UMAP 将细胞嵌入 2D 空间。在可视化结果中，相同细胞类型（由后续分析标注）的细胞会自然聚集，从而**无监督地发现新的细胞亚型**。此案例体现了降维在**生物医学发现**中的关键作用。

3. 密度估计 (Density Estimation)：直接建模数据分布 $p(x)$。

• **生成模型**：如**高斯混合模型 (GMM)** 假设数据由多个高斯分布混合生成，通过 EM 算法估计参数；**变分自编码器 (VAE)** 学习一个生成网络，将简单先验（如标准正态）映射到数据分布。
• **典型案例：异常检测**。在工业质检中，仅收集正常产品的图像（无缺陷样本）。训练一个 VAE 或**正常izing Flow**模型完美重构正常数据。对于新样本，若其**重构误差**或**似然概率**显著低于正常样本分布，则判定为异常。此案例展示了无监督学习在**缺乏负样本**场景下的独特优势。

半监督学习 (Semi-supervised Learning, SSL) 处于监督与无监督的交叉地带，其训练数据包含少量标注样本 $\mathcal{D}_l = \{ (x_i, y_i) \}_{i=1}^{l}$ 和大量无标注样本 $\mathcal{D}_u = \{ x_j \}_{j=l+1}^{l+u}$（通常 $l \ll u$）。SSL 的核心假设是，利用无标注数据所揭示的数据流形结构或分布特性，可以提升在标注数据上训练的模型性能。主要假设包括：

• **平滑假设 (Smoothness Assumption)**：位于数据流形上**高密度区域**的邻近点，其标签 likely 相同。
• **聚类假设 (Cluster Assumption)**：数据流形可被划分为低密度间隔的簇，同一簇内数据点标签相同。
• **流形假设 (Manifold Assumption)**：高维数据实际位于一个低维流形上，标签在此流形上是平滑变化的。

基于这些假设，主流方法包括：

1. 基于一致性的方法 (Consistency-based Methods)：要求模型对同一输入 $x$ 的不同扰动版本（如数据增强、模型权重扰动）产生一致的预测。

• **Π-Model / Mean Teacher**：在训练中，对同一无标注样本 $x$ 两次应用随机数据增强（如裁剪、翻转、颜色抖动）得到 $x', x''$，计算模型 $f$ 在两者上的预测 $p' = f(x')$ 和 $p'' = f(x'')$，并最小化其**均方误差**或**KL 散度**作为无标注损失。

$$ \mathcal{L}_{\text{unsup}} = \| p' - p'' \|^2 $$ Mean Teacher 进一步维护一个教师模型（学生模型的指数移动平均），其预测更稳定，作为一致性目标。

• **典型案例：医学图像分割**。标注 3D MRI 扫描的像素级分割掩码极其昂贵（需专家数小时/例），但可轻易获取大量未标注扫描。使用 U-Net 作为学生网络，在每次训练迭代中，对同一未标注 MRI 切片进行多种空间/强度增强，强制学生网络对增强版本的分割图保持一致。此方法在仅使用 10% 标注数据时，能达到接近全监督（100% 标注）的性能，**大幅降低标注成本**。

2. 伪标签 (Pseudo-labeling)：用当前模型对无标注数据预测，取高置信度的预测作为伪标签，与有标注数据一同训练。

• **风险**：若初始模型有偏差，会强化偏差（“确认偏差”)。通常与一致性方法结合或迭代进行。

3. 基于图的方法 (Graph-based Methods)：构建数据图 $G=(V,E)$，节点为样本（标注与未标注），边表示相似度。标签通过图上的标签传播 (Label Propagation) 或图半监督学习 (Graph SSL) 算法平滑传播。

• 损失函数常包含**图正则化项**：$\sum_{i,j} w_{ij} \| f(x_i) - f(x_j) \|^2$，其中 $w_{ij}$ 为边权重。鼓励相邻节点输出相似。

强化学习 (Reinforcement Learning, RL) 研究智能体 (Agent) 如何通过与环境 (Environment) 的交互学习最优策略 (Policy) 以最大化累积奖励 (Cumulative Reward)。其数学框架为马尔可夫决策过程 (Markov Decision Process, MDP)，由五元组 $<\mathcal{S}, \mathcal{A}, P, R, \gamma>$ 定义：

• $\mathcal{S}$：状态空间
• $\mathcal{A}$：动作空间
• $P(s'|s, a)$：状态转移概率函数，在状态 $s$ 执行动作 $a$ 后转移到 $s'$ 的概率
• $R(s, a, s')$：即时奖励函数
• $\gamma \in [0,1]$：折扣因子，权衡当前与未来奖励

策略 $\pi(a|s)$ 是状态到动作的映射（随机策略）。目标是找到最优策略 $\pi^*$ 以最大化期望累积折扣回报： $$ V^{\pi}(s) = \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t R(s_t, a_t, s_{t+1}) \mid s_0 = s \right] $$ 对应的动作价值函数为： $$ Q^{\pi}(s, a) = \mathbb{E}_{\pi} \left[ \sum_{t=0}^{\infty} \gamma^t R(s_t, a_t, s_{t+1}) \mid s_0 = s, a_0 = a \right] $$ 最优价值函数满足贝尔曼最优方程 (Bellman Optimality Equation)： $$ V^*(s) = \max_{a} \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ R(s,a,s') + \gamma V^*(s') \right] $$ $$ Q^*(s, a) = \mathbb{E}_{s' \sim P(\cdot|s,a)} \left[ R(s,a,s') + \gamma \max_{a'} Q^*(s', a') \right] $$

RL 算法主要分为：

1. 基于值函数 (Value-based)：学习最优 $Q^*$ 或 $V^*$，策略隐式推导（如 $\epsilon$-贪婪）。

• **Q-learning**：使用**贝尔曼残差**作为更新目标：

$$ \mathcal{L}(\theta) = \mathbb{E}_{(s,a,r,s') \sim \mathcal{D}} \left[ \left( r + \gamma \max_{a'} Q(s', a'; \theta^-) - Q(s, a; \theta) \right)^2 \right] $$ 其中 $\theta^-$ 为目标网络参数，$\mathcal{D}$ 为经验回放缓冲区。Deep Q-Network (DQN) 将此思想与深度神经网络结合，成功解决 Atari 游戏。

• **典型案例：雅达利游戏控制**。输入 $s$ 为游戏屏幕像素（$84 \times 84$ 灰度图），输出 $a$ 为 18 种可能游戏动作（如“开火”、“上跳”）。奖励 $r$ 为游戏得分变化。DQN 通过端到端学习，直接从像素映射到动作价值，在多数游戏中超越人类水平。此案例展示了 RL 在**高维状态空间**和**延迟奖励**问题上的突破。

2. 基于策略 (Policy-based)：直接参数化策略 $\pi_\theta(a|s)$，通过策略梯度定理优化期望回报 $J(\theta) = \mathbb{E}_{\pi_\theta}[\sum_t \gamma^t r_t]$。

• **REINFORCE**：蒙特卡洛策略梯度。

$$ \nabla_\theta J(\theta) = \mathbb{E}_{\tau \sim \pi_\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) G_t \right] $$ 其中 $\tau$ 为轨迹，$G_t$ 为从时刻 $t$ 的回报。

• **近端策略优化 (Proximal Policy Optimization, PPO)**：通过**裁剪的目标函数**确保策略更新稳定，成为当前最主流的算法之一。

$$ L^{\text{CLIP}}(\theta) = \mathbb{E}_t \left[ \min \left( r_t(\theta) \hat{A}_t, \tex