计算机视觉全景与核心挑战：任务分类、评估指标与数据集演进

计算机视觉作为人工智能领域最具影响力的分支之一，其核心目标是使机器能够“看见”并理解视觉世界。从1966年Seymour Papert的“夏天项目”到如今基于深度学习的视觉系统在自动驾驶、医疗诊断、安防监控等领域的广泛应用，这一学科经历了从边缘特征提取到层次化表征学习、从手工设计特征到端到端优化的根本性范式转变。然而，尽管卷积神经网络（CNN）和Transformer架构在多项基准测试中已达到或超越人类水平，计算机视觉系统在真实复杂场景中的鲁棒性、泛化能力和效率仍面临严峻挑战。理解这些挑战的根源，必须首先建立对计算机视觉任务体系、评估方法论及数据基础的统一认知框架。本章将系统性地构建这一框架，为全书后续对YOLO系列目标检测算法、图像分割技术及深度实践方法的深入探讨奠定坚实的理论基础。

核心视觉任务的数学形式化体系

计算机视觉研究可被分解为一系列具有明确定义输入输出映射关系的核心任务。这些任务并非孤立存在，而是构成一个层次化、相互关联的问题空间。从像素级理解到高级语义推理，任务复杂度逐级递增，对模型能力的要求也各不相同。以下将逐一进行严格的数学形式化描述，这种形式化不仅是理论严谨性的体现，更是后续设计模型架构、损失函数和评估标准的前提。

图像分类：像素到标签的全局映射

图像分类是计算机视觉中最基础、最成熟的任务，其目标是确定输入图像所属的类别。形式化地，给定一个定义在连续空间$\mathbb{R}^{H \times W \times C}$上的图像$I$，其中$H$、$W$、$C$分别表示高度、宽度和通道数（通常为3，对应RGB三通道），分类模型$f_{\theta}$需要学习一个从图像空间到离散类别集合$\mathcal{Y} = \{1, 2, ..., K\}$的映射： $$ f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \mathcal{Y} $$ 其中$\theta$表示模型参数。更精细地，模型通常输出一个概率分布$p_{\theta}(y|I) \in \Delta^{K-1}$（$\Delta^{K-1}$为$K-1$维概率单形），通过Softmax函数将最后一层的logits转换为各类别条件概率。训练过程通过最小化经验风险实现： $$ \theta^* = \arg\min_{\theta} \frac{1}{N}\sum_{i=1}^{N} \mathcal{L}(f_{\theta}(I_i), y_i) + \lambda \Omega(\theta) $$ 其中$\mathcal{L}$为损失函数（如交叉熵），$\Omega$为正则化项，$\lambda$控制正则化强度。

值得注意的是，标准分类任务假设图像中包含单一主导对象且占据主要视野。当图像包含多个对象或对象占比极小时，分类任务的定义需要扩展为多标签分类（多个类别标签）或细粒度分类（子类别区分），其形式化需相应调整为$f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow 2^{\mathcal{Y}}$或$f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \mathcal{Y}_{fine}$。

目标检测：定位与识别的联合推理

目标检测在分类任务基础上增加了空间定位需求，要求同时预测图像中所有感兴趣对象的类别及其精确位置。现代检测器通常将位置表示为由左上角坐标$(x, y)$、宽度$w$、高度$h$定义的轴对齐边界框$b = (x, y, w, h) \in \mathbb{R}^4$。形式化地，检测任务定义为学习一个从图像到边界框集合与对应类别集合的映射： $$ f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \mathcal{P}(\mathbb{R}^4) \times \mathcal{Y}^* $$ 其中$\mathcal{P}(\mathbb{R}^4)$表示$\mathbb{R}^4$的幂集（所有可能的边界框集合），$\mathcal{Y}^*$表示$\mathcal{Y}$的任意长度序列（对应每个边界框的类别）。由于输出空间是可变长度的集合，检测模型通常采用两阶段（如Faster R-CNN）或单阶段（如YOLO、SSD）策略：两阶段方法首先生成候选区域（Region Proposal），再进行区域分类与精细回归；单阶段方法则在图像网格上直接预测边界框和类别概率。

更精确地，设$B = \{b_1, b_2, ..., b_M\}$为预测边界框集合，$C = \{c_1, c_2, ..., c_M\}$为对应类别，$G = \{g_1, g_2, ..., g_N\}$为真实标注集合，其中每个$g_j = (b_j^{gt}, y_j^{gt})$。检测模型的训练涉及复杂的匹配策略（如IoU匹配、匈牙利算法）以建立预测与ground truth之间的对应关系，进而定义综合分类损失与回归损失的总目标： $$ \mathcal{L}_{det} = \mathcal{L}_{cls} + \lambda_{reg} \mathcal{L}_{reg} $$ 其中$\mathcal{L}_{cls}$通常为带权重的交叉熵（处理类别不平衡），$\mathcal{L}_{reg}$为平滑L1损失或IoU损失，用于优化边界框坐标。

语义分割：像素级的 dense 分类

语义分割将图像理解推进到像素级别，要求为每个像素分配一个语义类别标签（如“人”、“车”、“道路”）。形式化地，分割任务定义为一个从图像空间到像素级标签图的映射： $$ f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \mathcal{Y}^{H \times W} $$ 其中输出为与输入分辨率相同的二维标签图，每个位置$(i,j)$处的值$f_{\theta}(I)_{i,j} \in \mathcal{Y}$表示该像素的语义类别。由于输出空间维度与输入空间维度一致，分割模型通常采用编码器-解码器（Encoder-Decoder）结构或基于像素点的全卷积网络（FCN）设计。编码器（如ResNet、VGG）逐步降低空间分辨率、增加特征通道数以捕获高级语义；解码器（如转置卷积、上采样+卷积）逐步恢复空间分辨率，结合跳跃连接（Skip Connection）融合多尺度特征以精确定位。

语义分割的挑战在于：同一类别物体可能因光照、遮挡、形变而呈现巨大外观差异，而不同类别物体可能共享相似的局部纹理。因此，有效的分割模型必须同时具备强大的语义判别能力和精确的空间定位能力。

实例分割：区分个体的像素级理解

实例分割是语义分割与目标检测的深度融合，不仅需要为每个像素分配语义类别，还需区分同一语义类别下的不同个体实例。例如，在一张包含多个行人的图像中，实例分割需为每位行人分配唯一的实例标识符，同时标注其精确轮廓。形式化地，实例分割任务可视为学习一个映射： $$ f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \{1, ..., K\}^{H \times W} \cup \{0\}^{H \times W} $$ 其中输出为每个像素的类别-实例联合标签，通常表示为$(c, id)$对，$c$为语义类别，$id$为该类别内的实例唯一标识（0表示背景）。另一种等价的表示是输出每个实例的掩码（Mask）与类别，即$f_{\theta}: \mathbb{R}^{H \times W \times C} \rightarrow \{M_1, M_2, ..., M_K\}$，其中$M_k \in \{0,1\}^{H \times W}$为第$k$个实例的二值掩码。

实例分割的数学复杂性在于其输出既包含密集的像素级预测（如语义分割），又包含稀疏的实例级集合（如目标检测）。主流方法分为两类：自顶向下（Top-down） 方法（如Mask R-CNN）先检测边界框，再在框内预测实例掩码；自底向上（Bottom-up） 方法（如SOLO、MaskFormer）先预测每个像素的嵌入特征或实例中心度，再通过后处理聚类生成实例掩码。前者与检测流程紧密耦合，后者更接近语义分割范式但增加了实例区分机制。

任务间的形式化关联与层次结构

上述四项核心任务构成了一个逻辑连贯的视觉理解层次体系。从数学角度看，它们可被统一表述为条件随机场（CRF）或能量最小化框架下的特殊案例，其差异主要在于输出空间的约束结构：

• **图像分类**：输出为全局标量$y \in \mathcal{Y}$，对应输出空间为离散单点集。
• **目标检测**：输出为边界框集合$\{(b_i, c_i)\}_{i=1}^M$，对应输出空间为可变长度序列，且边界框坐标$b_i$为连续值。
• **语义分割**：输出为像素级标签图$L \in \mathcal{Y}^{H \times W}$，对应输出空间为高维离散网格，空间维度与输入一致。
• **实例分割**：输出为掩码集合$\{M_k\}_{k=1}^K$，每个$M_k \in \{0,1\}^{H \times W}$，且需满足同一语义类别内掩码不重叠。

这种层次关系可形式化为包含关系：实例分割的最优解在已知实例标签后即可得到语义分割结果（合并同类实例掩码）；语义分割结果在已知对象边界后即可得到分类结果（统计主要区域类别）；而检测结果在忽略位置信息后即为多标签分类。因此，理论上，解决最具挑战性的实例分割任务即可解决所有更低级任务。然而，实践中针对特定任务设计专用架构往往更高效，这解释了为何研究社区同时发展多种任务专用模型。

```mermaid graph TD A[计算机视觉任务层次] --> B[图像分类<br>全局标签预测] A --> C[目标检测<br>边界框+类别] A --> D[语义分割<br>像素级类别] A --> E[实例分割<br>像素级实例]

B --> F[输出空间: 离散单点] C --> G[输出空间: 可变长序列] D --> H[输出空间: 离散网格] E --> I[输出空间: 掩码集合]

E --> J[蕴含语义分割] D --> K[蕴含图像分类] C --> L[蕴含多标签分类]

style E fill:#e1f5fe style J fill:#e1f5fe ```

评估指标：从准确率到mAP的度量逻辑

评估指标是连接模型输出与任务目标的桥梁，其设计必须与任务形式化定义及实际应用需求紧密对齐。不恰当的评估指标可能导致模型优化方向偏离真实目标，例如在类别不平衡的分类任务中仅优化准确率可能使模型偏向多数类。本节将系统剖析各项核心指标的数学本质、计算逻辑及适用场景。

分类任务评估：混淆矩阵与衍生指标

对于二分类问题，模型预测结果与真实标签可整理为混淆矩阵：

| 真实\预测 | 正例 | 负例 | |-----------|------|------| | 正例 | TP | FN | | 负例 | FP | TN |

其中：

• **TP（True Positive）**：正例被正确预测为正例
• **FN（False Negative）**：正例被错误预测为负例（漏检）
• **FP（False Positive）**：负例被错误预测为正例（误检）
• **TN（True Negative）**：负例被正确预测为负例

基于混淆矩阵，可定义一系列基础指标：

准确率（Accuracy） 衡量整体预测正确比例： $$ \text{Acc} = \frac{TP + TN}{TP + TN + FP + FN} $$ 准确率在类别平衡时具有良好解释性，但在不平衡数据集中可能产生误导。例如，在罕见疾病检测中（患病率1%），仅预测“健康”的模型即可达到99%准确率，但无实际价值。

精确率（Precision） 关注预测为正例的样本中有多少真实为正： $$ \text{Prec} = \frac{TP}{TP + FP} $$ 精确率对误检（FP） 敏感，在需要高置信度正例的场景（如推荐系统、医疗诊断）中至关重要。

召回率（Recall） 关注真实正例中有多少被成功预测： $$ \text{Rec} = \frac{TP}{TP + FN} $$ 召回率对漏检（FN） 敏感，在安全关键场景（如癌症筛查、缺陷检测）中优先考虑。

F1分数 是精确率与召回率的调和平均，提供单一综合指标： $$ F1 = 2 \cdot \frac{\text{Prec} \cdot \text{Rec}}{\text{Prec} + \text{Rec}} $$ 调和平均的特性使其对两者失衡更为敏感。F1$\beta$分数可调整权重： $$ F_{\beta} = (1+\beta^2) \cdot \frac{\text{Prec} \cdot \text{Rec}}{\beta^2 \cdot \text{Prec} + \text{Rec}} $$ 其中$\beta > 1$时更重视召回率，$\beta < 1$时更重视精确率。

对于多分类问题，上述指标可通过宏平均（Macro-average） 或微平均（Micro-average） 扩展：

• **宏平均**：对每个类别独立计算指标后取算术平均，平等对待所有类别。
• **微平均**：聚合所有类别的TP、FP等计数后计算指标，受大类主导。

目标检测评估：IoU与mAP的核心地位

目标检测的评估同时涉及定位精度与分类正确性，其核心指标基于交并比（Intersection over Union, IoU） 定义。对于预测边界框$b^{pred}$与真实边界框$b^{gt}$，IoU计算为： $$ \text{IoU}(b^{pred}, b^{gt}) = \frac{|b^{pred} \cap b^{gt}|}{|b^{pred} \cup b^{gt}|} $$ 其中$|\cdot|$表示区域面积。IoU取值$[0,1]$，值越大表示定位越精确。通常设定阈值$\tau$（如0.5），当$\text{IoU} > \tau$时认为预测为真正例（True Positive），否则为假正例（False Positive）。

在给定IoU阈值$\tau$下，对每个类别$c$，可计算其精确率-召回率（Precision-Recall, PR）曲线：通过调整模型置信度阈值，得到一系列(Prec, Rec)点。平均精度（Average Precision, AP） 定义为PR曲线下的面积： $$ \text{AP}_c = \int_0^1 p(r) dr $$ 其中$p(r)$为召回率为$r$时的精确率。实际计算中，采用11点插值法（COCO之前标准）或所有点插值法（COCO标准）进行数值积分。

均值平均精度（mean Average Precision, mAP） 是所有类别AP的算术平均： $$ \text{mAP} = \frac{1}{K} \sum_{c=1}^{K} \text{AP}_c $$ mAP是目标检测最核心的评估指标。为全面评估模型在不同定位严格度下的表现，COCO数据集引入mAP@[.5:.95]，即计算IoU阈值从0.5到0.95（步长0.05）的10个mAP值的平均。此外，还报告mAP$_{small}$、mAP$_{medium}$、mAP$_{large}$ 以区分不同尺度对象的性能。

值得注意的是，mAP的计算依赖于预测框与真实框的匹配。匹配策略通常为：对每个真实框，选择与之IoU最高且超过阈值$\tau_{match}$（通常0.5）的预测框作为匹配，且每个预测框仅匹配一个真实框。未匹配的预测框视为FP，未匹配的真实框视为FN。

分割任务评估：IoU与Dice系数

语义分割与实例分割的评估均基于像素级预测与真实标注的对比。

像素准确率（Pixel Accuracy, PA） 计算所有像素中预测正确的比例： $$ \text{PA} = \frac{\sum_{i=1}^{H}\sum_{j=1}^{W} \mathbb{1}(L_{i,j} = \hat{L}_{i,j})}{H \times W} $$ 其中$L$为真实标签图，$\hat{L}$为预测标签图。PA在类别平衡时有效，但同样受类别不平衡影响。

平均交并比（Mean IoU, mIoU） 是分割任务最常用的指标。对每个类别$c$，计算： $$ \text{IoU}_c = \frac{|P_c \cap G_c|}{|P_c \cup G_c|} = \frac{TP_c}{TP_c + FP_c + FN_c} $$ 其中$P_c$为预测为类别$c$的像素集合，$G_c$为真实为类别$c$的像素集合，$TP_c$、$FP_c$、$FN_c$分别为真正例、假正例、假反例像素数。mIoU为所有类别IoU的均值（通常不包括背景类）： $$ \text{mIoU} = \frac{1}{K} \sum_{c=1}^{K} \text{IoU}_c $$ mIoU对类别不平衡相对鲁棒，是语义分割的黄金标准指标。

Dice系数（F1-score的像素级扩展） 又称F1-score或Sørensen–Dice coefficient，定义为两倍交集面积与两集合面积和的比值： $$ \text{Dice} = \frac{2|P \cap G|}{|P| + |G|} = \frac{2TP}{2TP + FP + FN} $$ Dice系数与IoU高度相关（$\text{Dice} = \frac{2\text{IoU}}{1+\text{IoU}}$），但在医学图像分割等领域更为常用，因其对目标区域大小变化更敏感。平均Dice系数（Mean Dice） 即为各类别Dice系数的平均。

对于实例分割，除上述像素级指标外，还需评估实例级别的检测与分割质量。COCO数据集定义的AP$_{mask}$ 基于掩码IoU（mask IoU）计算：对每个预测掩码与匹配的真实掩码计算IoU，按IoU阈值（从0.5到0.95）计算AP，最终取平均。此外，**掩码IoU（mask Io