机器学习范式与问题形式化

机器学习作为从数据中提取模式并用于预测或决策的科学与艺术，其核心在于建立输入与输出之间的映射关系。本章将严格定义机器学习的基本范式，形式化监督学习中的回归与分类问题，并引入损失函数、经验风险、期望风险等核心概念，最终通过偏差-方差分解揭示模型性能的根本来源。贯穿全书的房价预测案例将从这里启程，构建从问题定义到算法选择再到评估优化的完整思维框架。

监督学习范式：数据与标签的映射

监督学习 (Supervised Learning) 是机器学习中最成熟、应用最广泛的范式，其核心假设是：存在一个未知的目标函数 $f: \mathcal{X} \rightarrow \mathcal{Y}$，将输入空间 $\mathcal{X}$ 中的样本 $x$ 映射到输出空间 $\mathcal{Y}$ 中的标签 $y$。学习的目标是利用一组独立同分布 (i.i.d.) 的训练样本 $\mathcal{D} = \{ (x_i, y_i) \}_{i=1}^n$，从假设空间 $\mathcal{H}$ 中挑选一个近似函数 $\hat{f}$，使得对于未知的数据分布 $P(X,Y)$，$\hat{f}$ 在任意新样本 $(X,Y)$ 上的预测误差尽可能小。

形式上，设输入 $X$ 为 $d$ 维实向量，$X \subseteq \mathbb{R}^d$；输出 $Y$ 根据任务类型分为连续值（回归）或离散类别（分类）。训练数据 $\mathcal{D}$ 是从联合分布 $P(X,Y)$ 上采样所得。学习算法 $\mathcal{A}$ 以 $\mathcal{D}$ 为输入，输出一个预测函数 $\hat{f} = \mathcal{A}(\mathcal{D}) \in \mathcal{H}$。预测质量由损失函数 $\ell: \mathcal{Y} \times \mathcal{Y} \rightarrow \mathbb{R}_+$ 度量，$\ell(y, \hat{y})$ 表示预测值 $\hat{y}$ 与真实值 $y$ 之间的 penalty。

案例锚点：房价预测的问题定义 假设我们欲构建一个模型预测北京市二手房成交价格。这里，输入空间 $\mathcal{X}$ 包含房屋特征：面积（平方米）、卧室数量、卫生间数量、所在行政区、地铁距离（米）、楼龄（年）等，可形式化为 $\mathcal{X} \subseteq \mathbb{R}^p$（经适当编码后）。输出空间 $\mathcal{Y} = \mathbb{R}_+$ 为连续价格（万元）。训练数据 $\mathcal{D}$ 来自历史成交记录，每笔记录为 $(x_i, y_i)$。目标函数 $f$ 未知，它隐式地编码了市场供需、学区政策、小区品质等复杂因素。学习算法 $\mathcal{A}$（如线性回归、梯度提升树）将基于 $\mathcal{D}$ 输出 $\hat{f}$，用于对新房源 $x_{\text{new}}$ 进行价格预测 $\hat{y}_{\text{new}} = \hat{f}(x_{\text{new}})$。

无监督学习与强化学习：范式的光谱

与监督学习依赖标签不同，无监督学习 (Unsupervised Learning) 仅观测输入数据 $\mathcal{D} = \{ x_i \}_{i=1}^n$，目标是发现数据的内在结构。主要任务包括：

• **聚类 (Clustering)**：将样本分组，使得组内相似度高、组间相似度低。形式化地，寻找划分 $C = \{C_1, \dots, C_K\}$ 使得 $\sum_{k=1}^K \sum_{x_i \in C_k} \text{sim}(x_i, \mu_k)$ 最大化，其中 $\mu_k$ 为簇中心。
• **密度估计 (Density Estimation)**：估计数据生成的概率密度函数 $p(x)$，如高斯混合模型 (GMM)。
• **降维 (Dimensionality Reduction)**：寻找低维表示 $z \in \mathbb{R}^q$（$q \ll d$）保留数据关键信息，如主成分分析 (PCA) 最大化投影方差。

强化学习 (Reinforcement Learning) 则关注智能体 (Agent) 与环境 (Environment) 的交互。在时间步 $t$，智能体观测状态 $s_t \in \mathcal{S}$，执行动作 $a_t \in \mathcal{A}$，环境转移至新状态 $s_{t+1}$ 并给出奖励 $r_t$。智能体学习策略 $\pi(a|s)$ 以最大化累积奖励 $G_t = \sum_{k=0}^\infty \gamma^k r_{t+k}$（$\gamma$ 为折扣因子）。其形式化基于马尔可夫决策过程 (MDP)，与监督/无监督学习的静态数据观有本质区别。

在房价预测场景中，无监督学习可用于：对房源进行聚类以发现市场细分（如“高端学区房”“刚需小户型”），或使用PCA降维可视化特征空间。强化学习则适用于动态定价策略，其中智能体根据市场反馈（如带看量、出价）调整挂牌价，以最大化预期成交收益。

回归与分类问题的严格形式化

回归问题 (Regression)

输出 $Y$ 为连续变量。典型损失函数为均方误差 (Mean Squared Error, MSE)： $$\ell_{\text{MSE}}(y, \hat{y}) = (y - \hat{y})^2$$ 对应的期望风险 (Expected Risk) 为： $$R_{\text{MSE}}(f) = \mathbb{E}_{(X,Y) \sim P} \left[ (Y - f(X))^2 \right]$$ 可分解为： $$R_{\text{MSE}}(f) = \mathbb{E}_{X} \left[ \text{Var}(Y|X) + \left( \mathbb{E}[Y|X] - f(X) \right)^2 \right]$$ 其中 $\text{Var}(Y|X)$ 为条件方差（不可约误差），$\left( \mathbb{E}[Y|X] - f(X) \right)^2$ 为预测偏差的平方。最优回归函数为条件期望 $f^*(x) = \mathbb{E}[Y|X=x]$。

在房价预测中，MSE 惩罚大幅预测误差，适合对异常值敏感的场景（如豪宅价格预测）。若需相对误差度量，可采用平均绝对百分比误差 (MAPE)： $$\ell_{\text{MAPE}}(y, \hat{y}) = \left| \frac{y - \hat{y}}{y} \right|$$

分类问题 (Classification)

输出 $Y$ 为离散类别，设 $|\mathcal{Y}| = K$。

• **二分类 ($K=2$)**：常用**0-1损失** $\ell_{0-1}(y, \hat{y}) = \mathbb{I}(y \neq \hat{y})$，但不可微。实践中用**对数损失 (Log Loss)** 替代：

$$\ell_{\text{log}}(y, p) = - \left[ y \log p + (1-y) \log (1-p) \right]$$ 其中 $p = P(Y=1|X)$ 为模型预测的正类概率。期望风险为交叉熵 (Cross-Entropy)： $$R_{\text{log}}(f) = - \mathbb{E}_{(X,Y)} \left[ Y \log f_1(X) + (1-Y) \log (1-f_1(X)) \right]$$ $f_1(X)$ 为模型估计的 $P(Y=1|X)$。

• **多分类 ($K>2$)**：使用**多分类交叉熵**。设真实标签为 one-hot 向量 $y \in \{0,1\}^K$，模型输出概率向量 $\hat{y} \in [0,1]^K$（$\sum_k \hat{y}_k=1$），则：

$$\ell_{\text{ce}}(y, \hat{y}) = - \sum_{k=1}^K y_k \log \hat{y}_k$$ 期望风险为 $R_{\text{ce}}(f) = \mathbb{E} \left[ - \sum_{k=1}^K \mathbb{I}(Y=k) \log f_k(X) \right]$，其中 $f_k(X) = P(Y=k|X)$。

若将房价预测离散化（如“低价<200万”“中价200-500万”“高价>500万”），则转化为分类问题，需采用交叉熵损失。此时需谨慎处理类别不平衡（如低价房样本过多），可通过加权交叉熵或重采样缓解。

损失函数、经验风险与结构风险

损失函数的选择原则

损失函数直接反映业务目标，选择时需考虑： 1. 对误差的敏感度：MSE 对大误差惩罚更重（二次方），MAE（平均绝对误差）更鲁棒。 2. 概率解释：对数损失对应最大似然估计，输出校准概率。 3. 业务约束：在房价预测中，若低估价格导致客户流失的代价高于高估，可采用非对称损失： $$\ell_{\text{asym}}(y, \hat{y}) = \begin{cases} \alpha (y - \hat{y}) & \text{if } \hat{y} < y \\ \beta (\hat{y} - y) & \text{if } \hat{y} \geq y \end{cases}$$ 其中 $\alpha > \beta$ 表示低估惩罚更重。

经验风险最小化 (ERM)

由于真实风险 $R(f)$ 依赖未知分布 $P$，无法直接计算。ERM 原则使用训练集上的经验风险作为代理： $$\hat{R}(f) = \frac{1}{n} \sum_{i=1}^n \ell(y_i, f(x_i))$$ 学习算法求解： $$\hat{f} = \arg\min_{f \in \mathcal{H}} \hat{R}(f)$$ 当 $\mathcal{H}$ 容量极大（如深度神经网络）时，ERM 易导致过拟合 (Overfitting)：$\hat{R}(f)$ 很小但 $R(f)$ 很大。

结构风险最小化 (SRM)

为控制模型复杂度，SRM 在经验风险上添加正则化项 (Regularizer) $\Omega(f)$： $$\hat{f} = \arg\min_{f \in \mathcal{H}} \left\{ \hat{R}(f) + \lambda \Omega(f) \right\}$$ $\lambda \geq 0$ 为正则化强度。常见正则化：

• **L2正则化（岭回归）**：$\Omega(f) = \|w\|_2^2$（$w$ 为线性模型权重），约束权重幅度，提升泛化。
• **L1正则化（Lasso）**：$\Omega(f) = \|w\|_1$，诱导稀疏性，进行特征选择。
• **Dropout（神经网络）**：训练时随机丢弃神经元，防止复杂共适应。

在房价预测中，若使用高阶多项式特征，L2正则化可抑制系数爆炸；若特征众多（如上千个小区虚拟变量），L1正则化可自动筛选关键区位变量。

偏差-方差分解：模型误差的根本来源

对于回归任务及MSE损失，期望风险在固定 $x$ 处可分解为： $$\mathbb{E}_{\mathcal{D}} \left[ (y - \hat{f}(x))^2 \right] = \underbrace{\left( \mathbb{E}_{\mathcal{D}}[\hat{f}(x)] - f^*(x) \right)^2}_{\text{偏差}^2} + \underbrace{\mathbb{E}_{\mathcal{D}} \left[ (\hat{f}(x) - \mathbb{E}_{\mathcal{D}}[\hat{f}(x)])^2 \right]}_{\text{方差}} + \underbrace{\sigma^2(x)}_{\text{不可约误差}}$$ 其中 $f^*(x) = \mathbb{E}[Y|X=x]$ 为最优回归函数，$\sigma^2(x) = \text{Var}(Y|X=x)$ 为噪声方差，期望 $\mathbb{E}_{\mathcal{D}}$ 关于训练集 $\mathcal{D}$ 的分布。

• **偏差 (Bias)**：模型预测的期望与真实值的差距，反映**假设空间 $\mathcal{H}$ 的表达能力不足**。例如，用线性模型拟合非线性关系（如房价与面积呈对数关系），即使有无限数据，偏差仍存在。
• **方差 (Variance)**：模型对不同训练集的敏感度，反映**模型对训练数据的过度拟合**。例如，深度决策树在训练集上完美拟合，但新数据上波动大。

偏差-方差权衡 (Bias-Variance Tradeoff) 是机器学习的核心张力：

• 简单模型（如线性回归）：偏差高、方差低 → 欠拟合 (Underfitting)
• 复杂模型（如深度树）：偏差低、方差高 → 过拟合

理想模型需在两者间平衡。在房价预测中：

• **高偏差场景**：仅使用“面积”单一特征的线性模型，忽略区位、房龄等，导致系统性低估/高估（如对老破小定价不准）。
• **高方差场景**：使用深度回归树，完美记忆训练集中的噪声（如某异常成交记录），但对新房源预测不稳定。

缓解偏差与方差的方法

| 误差来源 | 表现 | 缓解策略 | |---------|------|---------| | 高偏差 | 训练集和测试集误差均高 | 增加模型复杂度（更多特征、更深网络）、减少正则化、集成方法（如Bagging降低方差但可能增偏差，Boosting降低偏差） | | 高方差 | 训练集误差低、测试集误差高 | 增加训练数据、增强正则化、特征选择、降低模型复杂度、早停 (Early Stopping) |

图示说明：下图展示了模型复杂度与误差的关系。随着复杂度增加，训练误差单调下降，但测试误差呈U形：左侧高偏差区，右侧高方差区。最优复杂度在测试误差最小点。

```mermaid graph LR A[模型复杂度低] --> B[高偏差<br>欠拟合] B --> C[测试误差下降] C --> D[最优复杂度] D --> E[测试误差上升] E --> F[高方差<br>过拟合] style B fill:#ffcccc style F fill:#ffcccc style D fill:#ccffcc ```

泛化能力与概率不等式

学习算法的终极目标是泛化 (Generalization)：在未知数据上表现良好。泛化误差由真实风险 $R(f)$ 度量，但仅能通过测试误差估计。理论分析需建立 $R(f)$ 与 $\hat{R}(f)$ 之间的概率联系。

泛化界 (Generalization Bound)

对于假设空间 $\mathcal{H}$，以概率 $1-\delta$ 有： $$R(\hat{f}) \leq \hat{R}(\hat{f}) + \mathcal{O}\left( \sqrt{\frac{\text{复杂度}(\mathcal{H}) + \log(1/\delta)}{n}} \right)$$ 其中 $\text{复杂度}(\mathcal{H})$ 衡量假设空间的“大小”，常用VC维 (Vapnik-Chervonenkis Dimension) 或Rademacher复杂度度量。该界表明：

• 样本量 $n$ 越大，泛化 gap 越小。
• 假设空间越复杂（VC维越高），泛化 gap 越大，需更多数据保证泛化。

在房价预测中的启示

若使用一个包含所有可能多项式特征的假设空间（VC维极高），即使训练误差为0，测试误差也可能很大，除非有海量数据。实践中，通过限制特征数量（如仅使用领域知识筛选的20个特征）、采用L1正则化（等价于稀疏假设空间）来控制复杂度，从而提升泛化。

案例深化：房价预测的完整框架

我们将房价预测问题逐步形式化，建立从数据到决策的 pipeline：

1. 问题形式化

• **任务类型**：回归（预测连续价格）
• **输入特征**：
• 数值型：面积、卧室数、卫生间数、楼龄、地铁距离
• 类别型：行政区（编码为 one-hot）、是否学区房（布尔）
• 衍生特征：面积/卧室数（人均面积）、房龄分段（离散化）
• **输出目标**：成交价格（万元），可能取对数变换以稳定方差（$\log(\text{price})$ 常更符合线性假设）

2. 损失函数设计

• **主损失**：MSE 或 MAE。若关注相对误差，用 **MSLE (Mean Squared Log Error)**：

$$\ell_{\text{MSLE}}(y, \hat{y}) = \left( \log(1+y) - \log(1+\hat{y}) \right)^2$$ （加1避免 $\log(0)$，且对高估/低估惩罚对称）

• **业务约束**：若低估成本更高，定义非对称损失，如低估10万 penalty=20，高估10万 penalty=10。

3. 模型选择与偏差-方差分析

| 模型 | 偏差 | 方差 | 适用场景 | |------|------|------|----------| | 线性回归 + 手工特征 | 高（无法捕捉非线性交互） | 低 | 基线模型、可解释性要求高 | | 决策树（深度限制） | 中 | 中 | 自动捕捉非线性，但可能不稳定 | | 随机森林（多树平均） | 中低 | 低（通过平均降低方差） | 稳健预测，特征重要性分析 | | 梯度提升树（如XGBoost） | 低 | 中高（需仔细调参） | 竞赛级精度，但过拟合风险 |

实践洞察：在北京市房价数据中，线性模型可能因“学区”与“面积”的交互作用（学区房面积溢价非线性）而产生高偏差。随机森林通过多树平均有效降低方差，但若树过深，仍可能对训练集中的异常成交（如急售低价）过拟合。通常，梯度提升树通过收缩率 (shrinkage) 和子采样 (subsample) 控制方差，在偏差-方差间取得良好平衡。

4. 评估协议

• **数据划分**：时间序列划分（按成交时间，避免未来信息泄露）优于随机划分。
• **评估指标**：
• 主要：$R^2$（解释方差）、RMSE（根均方误差，与价格同量纲）
• 业务：MAPE（平均绝对百分比误差，便于业务解读）
• **验证策略**：时间交