重启认知：深度学习与计算机视觉的再入门

想象一下，你站在一个巨大、繁忙的现代工厂中央。传送带平稳移动，原材料（ Input ）从一端涌入。在传送带两侧，是层层叠叠的机械臂与加工站——第一站切割，第二站钻孔，第三站焊接，第四站喷漆……每个站点都对半成品进行特定变换，逐步将粗糙的原料精炼为最终产品。最后，质检站检查成品是否合格，并将误差反馈给生产线，以便调整每个机械臂的动作参数，让下一批产品更接近完美。这，就是神经网络——一个由数据驱动的、可自动优化的特征加工流水线。

这个比喻并非凭空而来。传统编程如同我们亲自为每个零件编写精确的加工指令：如果零件是A，则执行操作X；如果是B，则执行操作Y。规则僵化，无法泛化。而深度学习则彻底颠覆了范式：我们只设定流水线的架构（有多少层、每层什么类型），提供海量的“原料-成品”配对样本（训练数据），并告诉机器“尽可能让成品接近标准”（定义损失函数）。剩下的——如何提取边缘、纹理、部件，如何组合成“车轮”“车灯”“车身”等高层语义——全部由流水线在数据洪流中自主摸索出来。这便是“表示学习”的精髓：模型自己发现哪些特征是关键的。

但工厂的比喻仍有局限。传统流水线每个站点功能固定，而神经网络的“机械臂”是柔性的、可学习的。它们不是执行预设操作，而是通过 millions 甚至 billions 个可调旋钮（参数权重），在数据驱动下，动态地形成最适合当前任务的“加工逻辑”。前向传播是原料顺着传送带一步步成型的过程；反向传播则是质检报告以惊人的精度，逆向逐站告知每个旋钮该向哪个方向微调，以最小化整体误差。优化器（如 SGD、Adam）则是工厂的总调度算法，决定如何根据反馈信息高效、稳定地调整所有旋钮。

理解了这一核心隐喻，我们便拥有了审视计算机视觉四大支柱任务的“上帝视角”。它们并非孤立存在，而是同一流水线上不同规格的“最终产品”：

• **图像分类**：是“这是什么？”的单一标签判定。流水线的末端只有一个质检员，给出一个类别概率（如“汽车：92%，卡车：5%，自行车：3%”）。这是最基础的形态，训练模型识别“整体语义”。
• **目标检测**：是“哪里有什么？”的定位与识别。流水线末端需要一组质检员，不仅判断类别，还要用边界框标出每个物体的位置。它可视为**分类任务的空间扩展**，每个潜在位置都是一个“子分类器”。
• **语义/实例分割**：是“每个像素属于什么？”的像素级理解。这是质检的终极形态：每个像素点都有一位专属质检员，报告其所属类别（语义分割）或实例ID（实例分割）。它可视为**检测任务的像素级细化**，将粗糙的框内分类，深化为精细的轮廓描绘。
• **图像生成**：则是“创造一个新样本”。流水线方向逆转！它不再是从原料到成品，而是从随机噪声或语义描述（如文本）出发，逆向生成符合统计规律的“原料”。它学习的是数据的**底层分布**，是前三种任务在概率空间的对偶操作。

这四者构成了一个从抽象到具体、从全局到局部、从判别到生成的认知光谱。理解它们的演进，本质是理解视觉智能如何从“认出是什么”逐步深化到“理解在哪里、是什么形状、甚至如何创造”。这条演进脉络，正是后续卷积神经网络（CNN）与视觉Transformer（ViT）两大技术路线发展的根本驱动力。

---

1.1 神经网络：数据驱动的特征加工流水线

让我们将“流水线”比喻进一步精确化。一个标准的前馈神经网络（Feedforward Neural Network）由三个核心组件构成：层（Layer）、参数（Parameters） 与激活函数（Activation Function）。

```mermaid graph LR A[输入层<br/>原始像素/特征向量] --> B[隐藏层1<br/>线性变换 + 激活] B --> C[隐藏层2<br/>线性变换 + 激活] C --> D[...] D --> E[输出层<br/>任务特定变换] E --> F[输出<br/>类别概率/坐标/像素标签] ```

每一层（加工站）执行两个关键操作： 1. 线性变换：$z = Wx + b$。这是最核心的“可调旋钮”部分。$x$ 是上游传来的特征向量，$W$ 是权重矩阵（巨量的旋钮），$b$ 是偏置项（微调基准）。这一步对输入进行旋转、缩放、混合，本质上是在寻找一个新的特征空间，使得数据在这个空间里更容易被下一层处理。 2. 非线性激活：$a = f(z)$。如果只有线性变换，无论堆叠多少层，整个网络都等价于一个单层线性模型，无法学习复杂模式。激活函数（如 ReLU：$f(z)=max(0,z)$）引入了关键的非线性，如同在流水线上加入“只通过正材”的智能筛选门，使得网络可以拟合任意复杂的函数。

前向传播就是数据 $x$ 从输入层开始，依次经过每一层的 $z = Wx + b$ 和 $a = f(z)$，最终得到输出 $\hat{y}$ 的完整计算路径。所有操作均可表示为可微的矩阵运算，这是反向传播的基础。

反向传播则是利用链式法则，从输出端开始，计算损失函数 $L$ 对每一个参数 $W$ 和 $b$ 的梯度 $\frac{\partial L}{\partial W}$ 和 $\frac{\partial L}{\partial b}$。其核心思想可以形式化为：

$$ \frac{\partial L}{\partial W^{(l)}} = \delta^{(l)} (a^{(l-1)})^T $$

其中 $\delta^{(l)}$ 是第 $l$ 层的误差项，由后一层的误差反向传播而来。这相当于将终端的“质检误差”$\frac{\partial L}{\partial \hat{y}}$，以精确的数学方式，逐层分摊责任，告诉每一层的每个旋钮：你刚才的转动是让产品变好了0.001%，还是变坏了0.001%。

优化器则根据梯度信息更新参数。最基础的随机梯度下降（SGD）更新规则为：

$$ W \leftarrow W - \eta \frac{\partial L}{\partial W} $$

其中 $\eta$ 是学习率，控制每次调整的步长。现代优化器如 Adam，则引入了动量和自适应学习率，如同经验丰富的工厂主管，不仅看当前误差，还参考调整趋势，并为不同旋钮（参数）设置不同的敏感度，使训练更快速、稳定。

---

1.2 损失函数：定义“好产品”的质检标准

流水线需要明确的质检标准。损失函数（Loss Function）就是量化模型预测 $\hat{y}$ 与真实标签 $y$ 之间差距的标量函数。不同的视觉任务，对应不同的“质检标准”：

• **分类任务（交叉熵损失）**：对于 $C$ 类分类，模型输出一个概率分布向量 $\hat{y} \in [0,1]^C$（通过 Softmax 函数将原始输出 $z$ 转换）。交叉熵损失定义为：

$$ L_{CE} = -\sum_{i=1}^{C} y_i \log(\hat{y}_i) $$ 其中 $y$ 是 one-hot 编码的真实标签（正确类别为1，其余为0）。直观理解：它惩罚模型对正确类别的预测概率 $\hat{y}_i$ 不够高。预测概率越接近1，损失越接近0；越接近0，损失趋向无穷大。

• **检测任务（综合损失）**：检测模型（如 YOLO、Faster R-CNN）的损失通常是多任务损失之和，例如：

$$ L_{det} = L_{cls} + \lambda_1 L_{loc} + \lambda_2 L_{conf} $$ 其中 $L_{cls}$ 是分类交叉熵（判断每个候选框的类别），$L_{loc}$ 是边界框回归损失（如 Smooth L1 Loss，衡量预测框与真实框的坐标偏差），$L_{conf}$ 是目标置信度损失（判断框内是否有物体）。$\lambda$ 是平衡各部分的权重系数。

• **分割任务（像素级交叉熵/Dice Loss）**：对每个像素独立计算分类损失，然后求平均。对于类别不平衡问题（如医学图像中病灶像素极少），常使用 Dice Loss 或其变体，直接优化预测区域与真实区域的重叠度（交并比 IoU）。

• **生成任务（对抗性损失/重构损失）**：生成对抗网络（GAN）的损失是博弈性的：生成器 $G$ 试图最小化 $\log(1-D(G(z)))$（让判别器 $D$ 无法区分生成样本），而判别器 $D$ 试图最大化 $\log D(x) + \log(1-D(G(z)))$（正确区分真实与生成样本）。变分自编码器（VAE）则使用重构损失（如均方误差）加上 KL 散度正则项，迫使潜在空间服从先验分布。

关键洞见：损失函数是任务目标的数学翻译。它定义了什么是“好”，模型的一切学习行为都围绕最小化此函数展开。设计或选择恰当的损失函数，是解决新视觉问题的首要步骤。

---

1.3 优化器：高效调整百万旋钮的调度算法

拥有梯度（$\frac{\partial L}{\partial W}$）只是知道“怎么调”，优化器决定“调多少”和“怎么更快更稳地调”。 imagine 你蒙着眼站在一个复杂山坡上，想最快走到山谷最低点。

• **SGD（随机梯度下降）**：最朴素的“走一步看一步”。每次用一个小批量（mini-batch）数据估算梯度，沿当前最陡峭方向下降。缺点是容易在山谷间震荡，且对学习率 $\eta$ 敏感。
• **Momentum**：给 SGD 加上“惯性”。当前更新方向是当前梯度与历史更新方向的指数加权平均：$v_t = \gamma v_{t-1} + \eta \nabla L$。这能帮助冲出局部平坦区或小幅度局部最优点，加速收敛。
• **Adam（Adaptive Moment Estimation）**：目前最流行的优化器之一。它同时计算梯度的**一阶矩估计**（均值，类似 Momentum）和**二阶矩估计**（未中心化的方差，用于自适应调整每个参数的学习率）。其更新规则近似为：

$$ \theta_{t+1} = \theta_t - \frac{\eta}{\sqrt{\hat{v}_t} + \epsilon} \hat{m}_t $$ 其中 $\hat{m}_t$ 和 $\hat{v}_t$ 是偏差校正后的一阶和二阶矩估计。Adam 为每个参数独立调整步长：对于频繁更新的参数（大梯度），学习率变小，防止震荡；对于稀疏更新的参数（小梯度），学习率变大，加速学习。这就像经验丰富的工厂主管，知道哪些旋钮经常需要微调（给它小步长），哪些很少动（给它大胆调整的机会）。

实践建议：Adam 及其变体（如 AdamW，解耦了权重衰减）是大多数视觉任务的可靠默认选择。但在某些需要极致泛化能力的场景（如大规模图像分类），带 warmup 的 SGD 配合 Momentum 和权重衰减，经过精细调参后，性能可能更优。

---

1.4 四大核心任务的演进脉络与内在联系

现在我们以“流水线”视角，审视计算机视觉四大任务的演进逻辑。它们的核心矛盾始终是：如何在计算效率与表征能力之间取得最佳平衡，以完成不同粒度的视觉理解。

1.4.1 图像分类：全局语义的崛起

任务本质：输入整幅图像，输出一个类别标签。这是视觉认知的“起点”——判断“这是什么”。

技术演进：

• **早期（2012前）**：依赖手工特征（SIFT、HOG等）+ 浅层分类器（SVM）。特征设计需要领域知识，且泛化能力有限。
• **CNN 时代（2012-）**：AlexNet 在 ImageNet 竞赛的胜利标志着深度学习统治开始。**卷积层**是核心创新：通过局部连接、权值共享，它天然成为**平移等变的特征提取器**。堆叠多层卷积，网络从边缘、纹理（浅层）逐步组合成部件、对象（深层），最终通过全局平均池化（GAP）或全连接层聚合为全局语义。VGGNet 证明了**深度**的重要性；ResNet 通过残差连接解决了深度网络训练难题，使网络突破百层，表征能力极大增强；Inception 系列探索了**宽度**与多尺度处理。DenseNet 则进一步强化了特征复用。这一阶段的范式是：**深而窄的卷积堆叠，逐步下采样，最终全局判别**。

内在局限：分类网络天然关注“最具判别力的区域”，可能忽略次要但关键的部分（如“长颈鹿”的脖子）。其全连接层或 GAP 破坏了空间信息，无法处理“哪里”的问题。

1.4.2 目标检测：定位与识别的统一

任务本质：不仅要知道“有什么”，还要知道“在哪里”（用边界框标出）。这是对分类任务在空间维度的扩展。

技术演进：两大路线并行发展： 1. 两阶段（Two-stage）：如 R-CNN 系列。先提候选区域（Region Proposal），再对每个区域做精细分类与精修。Fast R-CNN 实现端到端训练，Faster R-CNN 用区域提议网络（RPN）将候选区域生成也变为可学习，速度大幅提升。范式：“粗略扫描找地方，精细审查看是什么”。精度高，但速度慢。 2. 单阶段（One-stage）：如 YOLO、SSD。直接在图像网格上预测类别和边界框。将检测视为一个回归+分类的密集预测问题。范式：“一眼看全，直接预测”。速度快，但早期对极端尺度或小目标处理较弱。后续 YOLOv3/v4/v5/v7/v8 等通过多尺度预测、更优的骨干网络（如 CSPDarknet）、更精细的锚框设计等，不断缩小与两阶段的精度差距。

与分类的联系：检测网络的骨干（Backbone）通常直接采用在 ImageNet 上预训练的分类网络（如 ResNet）。RPN 可视为一个二分类（前景/背景）加边界框回归的微型网络。检测是分类思想在空间位置的泛化与应用。

1.4.3 图像分割：像素级的理解

任务本质：对每个像素进行分类。这是检测任务在空间分辨率上的极致深化——从粗糙的框到精细的轮廓。

技术演进：

• **全卷积网络（FCN）**：革命性工作。将分类网络（如 VGG）的全连接层全部替换为卷积层，使网络能接受任意尺寸输入，并输出与输入尺寸相同的**像素级预测图**。通过“编码器-解码器”结构（编码器下采样提取语义，解码器上采样恢复空间细节）和**跳跃连接**（融合浅层细节特征与深层语义特征），实现了端到端的像素级预测。
• **U-Net**：在 FCN 基础上，采用对称的编码器-解码器结构和**密集的跳跃连接**，在医学图像分割领域取得巨大成功，成为分割任务的标杆架构。
• **DeepLab 系列**：引入**空洞卷积（Atrous/Dilated Convolution）**，在不降低分辨率、不增加参数的情况下，扩大感受野，捕获多尺度上下文信息。后续版本结合了 ASPP（空洞空间金字塔池化）和 CRF（条件随机场）进行边界优化。
• **Mask R-CNN**：在 Faster R-CNN 基础上，增加一个并行的**掩码预测分支**，为每个检测到的实例生成一个二值掩码，是实例分割的里程碑。它将检测与分割统一在一个框架下：**先检测（得到框），再在框内做像素级分割**。

与检测的联系：Mask R-CNN 清晰展示了“检测是分割的先行步骤”。分割可视为检测的精细化版本，将框内“是什么”的问题，深化为“每个像素是什么”。

1.4.4 图像生成：从判别到生成

任务本质：学习数据分布，并生成新的、真实的样本。这是视觉智能从“理解”到“创造”的飞跃。

技术演进：

• **VAE（变分自编码器）**：将输入图像编码为潜在空间的一个分布（均值和方差），再从此分布采样解码重建。损失包含**重构损失**（保证输出像原图）和 **KL 散度**（约束潜在分布接近标准正态分布，保证 latent space 的连续性，便于采样生成）。生成质量相对模糊。
• **GAN（生成对抗网络）**：引入**对抗训练**范式。生成器 $G$ 和判别器 $D$ 进行 minimax 博弈。GAN 能生成极其逼真、清晰的图像（如 StyleGAN 系列），但训练不稳定，存在模式崩溃风险。
• **扩散模型（Diffusion Models）**：当前最热门的生成范式。**前向过程**逐步向图像添加高斯噪声，直至变为纯噪声；**反向过程**训练一个神经网络，从噪声开始逐步去噪，最终生成清晰图像。其损失是每一步预测噪声的均方误差。扩散模型训练稳定，生成质量与多样性俱佳，但采样速度慢（需多步去噪）。后续工作（如 DDIM、Latent Diffusion）大幅提升了采样效率。

与前三种任务的关系：分类、检测、分割是判别式任务，学习决策边界 $P(y|x)$。生成模型是生成式任务，学习联合分布 $P(x,y)$ 或数据分布 $P(x)$。在理论上，掌握了生成模型，可以解决所有判别任务（通过贝叶斯公式计算后验）。实践中，判别模型通常更直接、更高效。但生成模型带来了零样本合成、数据增强、图像编辑等全新能力。

演进逻辑图： ```mermaid flowchart TD A[图像分类<br/>“这是什么？”<br/>全局语义] --> B[目标检测<br/>“哪里有什么？”<br/>空间定位] B --> C[图像分割<br/>“每个像素是什么？”<br/>像素级理解] A --> D[图像生成<br/>“创造一个新样本”<br/>学习数据分布]

C --> E[高级视觉系统<br/>融合感知与生成] D --> E ```

---

1.5 代码热身：十分钟搭建你的第一个图像分类玩具模型

理论需结合实践。本节将使用 PyTorch，在几分钟内搭建一个简易的卷积神经网络，并在一个小型数据集上完成训练与评估。目标是直观感受“数据→模型→训练→预测”的完整流水线。

环境准备（假设已安装 Python 和 PyTorch）： ```bash pip install torch torchvision matplotlib ```

步骤 1：加载并预处理数据 我们使用 `torchvision` 自带的 CIFAR-10 数据集（10类常见物体，6万张 32x32 彩色图像）。 ```python import torch import torch.nn as nn import torch.optim as opti