计算机视觉概论：历史、任务与趋势 / Introduction: History, Tasks, and Trends

计算机视觉（Computer Vision）作为人工智能（Artificial Intelligence）与计算机科学（Computer Science）交叉领域的核心分支，致力于使机器能够从图像或视频中自动提取、理解并运用视觉信息。其根本目标在于模拟人类视觉系统的感知与认知能力，涵盖从低层的像素处理到高层的语义推理全过程。自20世纪60年代诞生以来，该领域经历了从基于规则的符号主义方法到数据驱动的深度学习范式的深刻变革，如今正朝着多模态融合、具身智能（Embodied AI）与通用人工智能（AGI）的方向加速演进。本章将系统梳理计算机视觉的发展脉络，界定其核心任务范畴，剖析关键应用场景，并审视当前研究挑战与未来趋势，为全书奠定坚实的理论基础与宏观视野。

历史发展 / Historical Development

计算机视觉的历史是一部不断突破感知边界、从手工特征到自主学习的进化史。其发展可大致划分为四个阶段：早期探索期（1960s–1980s）、特征工程期（1990s–2000s）、深度学习革命期（2012–2019）以及大模型与多模态融合期（2020至今）。每个阶段均伴随着理论创新、算法突破与计算平台的演进，共同塑造了现代计算机视觉的格局。

早期探索期：从“块世界”到计算理论 / Early Exploration: From "Block World" to Computational Theory

1960年代，计算机视觉作为独立研究领域初现雏形。MIT的拉里·罗伯茨（Larry Roberts）在其开创性博士论文中，首次尝试从二维图像重建三维多边形模型，提出了著名的“块世界”（Block World）假设——即场景由简单几何立方体堆叠而成。尽管该假设严重简化了真实世界的复杂性，但罗伯茨的工作首次将视觉问题形式化为可计算的过程，包括边缘检测、线标记和立体匹配等步骤，为后续研究提供了雏形框架。

与此同时，大卫·马尔（David Marr）在1980年代提出了影响深远的“视觉计算理论”（Computational Theory of Vision）。马尔在其 posthumous 著作《视觉：对表征与信息的计算探索》（Vision: A Computational Investigation into the Human Representation and Processing of Visual Information）中，将视觉系统划分为三个抽象层次：计算理论层（Computational Theory Level，定义“为什么”要解决特定问题）、算法与表示层（Algorithm and Representation Level，规定“如何”解决）和硬件实现层（Hardware Implementation Level，描述物理实现）。他进一步提出视觉处理的三阶段流水线：原始图（Primal Sketch）提取二维边缘与纹理；2.5维草图（2.5D Sketch）恢复表面朝向与深度线索；最终构建三维模型表示（3D Model Representation）。马尔的理论强调了视觉问题的计算本质，尽管其假设的“假设-演绎”框架在复杂场景中面临挑战，但其层次化思想至今仍深刻影响着视觉算法设计。

此时期另一重要贡献是计算机视觉作为一门独立学科的正式确立。1982年，国际计算机视觉大会（ICCV）首次举办；1987年，国际计算机视觉与模式识别会议（CVPR）独立成会，标志着该领域学术共同体的形成。然而，受限于计算能力与理论工具，早期方法多聚焦于简单合成图像或受限场景（如工业零件识别），难以应对真实世界的多样性。

特征工程期：手工特征的黄金时代 / Feature Engineering Era: The Heyday of Hand-Crafted Features

1990年代至2000年代初，计算机视觉研究进入“特征工程”主导的时代。研究者们设计出大量鲁棒的局部特征描述子，结合统计学习模型，在特定任务上取得了显著成功。这一时期的核心理念是：视觉识别性能的上限取决于特征表达的质量，因此人工设计的特征成为关键。

1999年，大卫·劳（David Lowe）提出的尺度不变特征变换（Scale-Invariant Feature Transform, SIFT）成为里程碑。SIFT通过构建尺度空间极值检测关键点，并计算128维方向梯度直方图描述子，实现了对尺度、旋转、光照变化的高度不变性，广泛应用于图像匹配、三维重建与物体识别。随后，加速稳健特征（Speeded-Up Robust Features, SURF）、定向梯度直方图（Histogram of Oriented Gradients, HOG）等特征相继涌现。特别是2005年纳温·达拉尔（Navneet Dalal）与比尔·特里格斯（Bill Triggs）提出的HOG特征，结合线性支持向量机（Support Vector Machine, SVM），在行人检测任务上实现了突破，成为传统检测方法的标杆。

与此同时，基于投票的集成方法如隐狄利克雷分布（Latent Dirichlet Allocation, LDA）与词袋模型（Bag-of-Visual-Words, BoVW）被引入视觉分类。该方法将局部特征聚类为“视觉词典”，通过统计词频表示图像，再使用SVM或朴素贝叶斯分类。2006年，加布里埃尔·西姆（Gabriella Csurka）等人首次将BoVW应用于场景分类，展示了其有效性。

此时期另一重要成就是人脸检测与识别技术的实用化。2001年，保罗·维奥拉（Paul Viola）与迈克尔·琼斯（Michael Jones）提出的Viola-Jones框架，使用Haar-like特征与级联AdaBoost分类器，首次实现了实时、鲁棒的人脸检测，被广泛应用于数码相机与早期安防系统。2000年代后期，局部二值模式（Local Binary Patterns, LBP）与主成分分析（PCA）等方法的结合，进一步提升了人脸识别精度。

然而，特征工程范式存在固有局限：特征设计高度依赖领域知识与经验，且特征与分类器分离训练，难以实现端到端优化。在PASCAL VOC等更具挑战性的数据集上，传统方法的性能逐渐达到瓶颈，亟需新的范式突破。

深度学习革命期：端到端学习的崛起 / Deep Learning Revolution: The Rise of End-to-End Learning

2012年，亚历克斯·克里泽夫斯基（Alex Krizhevsky）、伊利亚·苏茨克维（Ilya Sutskever）与杰弗里·辛顿（Geoffrey Hinton）团队提出的AlexNet在ImageNet大规模视觉识别挑战赛（ILSVRC）中以压倒性优势夺冠——top-5错误率从2011年的26.2%骤降至15.3%，首次证明了深度卷积神经网络（Convolutional Neural Network, CNN）在复杂视觉任务上的巨大潜力。AlexNet的成功得益于三个关键要素：大规模标注数据集（ImageNet包含120万张图像，1000个类别）、GPU并行计算加速训练、以及ReLU激活函数与Dropout等正则化技术缓解梯度消失与过拟合。这一事件被视为计算机视觉领域的“ImageNet时刻”，正式开启了深度学习革命。

随后几年，网络架构持续演进：2014年的VGGNet通过堆叠小尺寸卷积核（3×3）证明了网络深度的重要性；同年的GoogLeNet（Inception模块）引入多尺度并行卷积与全局平均 pooling，在保持计算效率的同时提升表征能力；2015年的ResNet（残差网络）通过跳跃连接（Skip Connection）解决了深层网络的梯度消失问题，将网络深度拓展至1000层以上，在ImageNet上错误率首次低于人类水平（约5%）。这些架构创新不仅刷新了分类任务记录，更成为后续检测、分割等任务的骨干网络（Backbone）。

在目标检测领域，2014年R-CNN系列开启了“区域提议+CNN特征提取”的两阶段范式。R-CNN首先使用选择性搜索（Selective Search）生成候选区域，然后通过CNN提取特征，最后用SVM分类。尽管计算冗余，但其性能远超传统方法。随后，Fast R-CNN（2015）实现特征共享与端到端训练，Faster R-CNN（2015）进一步引入区域提议网络（Region Proposal Network, RPN），实现检测框架近乎实时的运行速度。2016年，YOLO（You Only Look Once）提出单阶段（One-Stage）检测范式，将检测视为回归问题，直接在图像网格上预测边界框与类别，速度大幅提升，满足实时应用需求。

语义分割方面，2015年全卷积网络（Fully Convolutional Network, FCN）首次将CNN扩展至像素级预测，通过转置卷积（Deconvolution）实现端到端分割。同年，U-Net在医学图像分割中取得突破，其对称的编码器-解码器结构与跳跃连接，有效融合低层细节与高层语义，成为生物医学影像分析的基石。2016年，DeepLab系列引入空洞卷积（Dilated Convolution）与条件随机场（CRF）后处理，捕获多尺度上下文信息，在PASCAL VOC上达到新高度。

生成模型领域，2014年生成对抗网络（Generative Adversarial Network, GAN）由伊恩·古德费洛（Ian Goodfellow）等人提出，通过生成器与判别器的对抗训练，合成高度逼真的图像。后续的DCGAN、Wasserstein GAN、StyleGAN（2019）等系列不断改进训练稳定性与生成质量，使AI合成图像达到以假乱真程度。2020年代初，扩散模型（Diffusion Models）凭借更稳定的训练与更高的生成多样性，成为生成式AI的新主流，如Stable Diffusion与DALL-E 2。

大模型与多模态融合期：基础模型与通用视觉 / Large Models and Multimodal Fusion: Foundation Models and General Vision

2020年，视觉Transformer（Vision Transformer, ViT）的提出标志着CNN在视觉领域的统治地位受到挑战。ViT将图像分割为图像块（Patches）序列，直接应用自然语言处理中成熟的Transformer架构，在ImageNet上超越ResNet，揭示了规模化（Scaling）与数据多样性是视觉模型性能的关键驱动力。随后，Swin Transformer通过分层设计与移位窗口，高效处理高分辨率图像，成为密集预测任务的新骨干。

与此同时，视觉-语言预训练（Vision-Language Pre-training, VLP）蓬勃发展。CLIP（Contrastive Language–Image Pre-training）通过大规模图文对（4亿对）的对比学习，实现了零样本图像分类与跨模态检索，打破了传统监督学习的标签限制。DALL-E系列与Imagen进一步将VLP与扩散模型结合，实现了文本到图像的高质量生成。这些模型展示了多模态对齐（Multimodal Alignment）在提升视觉表征通用性方面的巨大潜力。

2023年，基础模型（Foundation Model）概念在视觉领域落地。Meta发布的Segment Anything Model（SAM）通过大规模掩码数据集（SA-1B，包含10亿个掩码）预训练，实现了“提示驱动”的任意图像分割，无需任务特定微调即可泛化至未知场景。这标志着视觉模型从“专用于特定任务”向“通用可提示工具”的范式转变。

核心任务分类 / Core Task Taxonomy

计算机视觉涵盖多样化的任务，可根据输出形式与抽象层次进行分类。以下梳理主要任务类别，阐明其定义、评估指标、经典数据集及代表性方法。

图像分类 / Image Classification

定义：给定一幅图像，预测其所属的类别标签（单标签）或一组标签（多标签）。这是最基础的视觉任务，为其他任务提供高层语义先验。

评估指标：Top-1准确率（预测概率最高的类别是否正确）、Top-5准确率（正确类别是否在前5个预测中）、混淆矩阵（Confusion Matrix）、精确率-召回率曲线（Precision-Recall Curve）。

经典数据集：

• **MNIST**：手写数字（0-9），6万训练+1万测试，28×28灰度图，常用于算法原型验证。
• **CIFAR-10/100**：自然图像，10/100个类别，6万张32×32彩色图，难度高于MNIST。
• **ImageNet**（ILSVRC）：1000个类别，120万训练图像，推动深度学习革命的核心基准。
• **ImageNet-21K**：扩展版，包含2.1万类别，用于预训练。

里程碑方法：

• **AlexNet**（2012）：5层CNN（含3个卷积层），首次在ImageNet上实现显著超越传统方法的精度。
• **VGGNet**（2014）：证明网络深度的重要性，使用3×3小卷积核堆叠，16-19层网络成为标准骨干。
• **ResNet**（2015）：引入残差块（Residual Block），解决深层网络退化问题，152层网络在ImageNet上错误率3.6%，超越人类水平（约5%）。
• **EfficientNet**（2019）：通过复合缩放（Compound Scaling）同时调整网络深度、宽度与分辨率，在同等计算预算下达到最优精度-效率权衡。
• **Vision Transformer**（2020）：将图像分块为序列，应用Transformer编码器，在大量数据上训练时性能超越CNN。

目标检测 / Object Detection

定义：在图像中定位（定位通常通过边界框Bounding Box表示）并识别所有感兴趣物体的类别。输出为带类别标签的边界框集合。

评估指标：平均精度均值（mean Average Precision, mAP），基于交并比（Intersection over Union, IoU）阈值（如0.5:0.95）计算。IoU = 预测框与真实框重叠面积 / 并集面积。

经典数据集：

• **PASCAL VOC**（2007-2012）：20个类别，约1万张图像，曾为检测基准。
• **COCO**（Common Objects in Context）：80个类别，超过33万张图像，包含实例分割标注，当前主流检测基准。评估指标更严格（mAP@0.5:0.95）。
• **Open Images**：更大规模，包含边界框、分割掩码与视觉关系标注。

方法演进：

• **两阶段方法**（Two-Stage）：先生成候选区域，再进行区域分类与精修。
• **R-CNN**（2014）：使用选择性搜索生成约2000个候选区域，对每个区域独立提取CNN特征，支持向量机分类。精度高但速度慢（每张图像40+秒）。
• **Fast R-CNN**（2015）：整张图像输入CNN提取特征图，通过**RoI Pooling**共享计算，大幅提速。
• **Faster R-CNN**（2015）：引入**区域提议网络**（RPN），与检测网络共享卷积特征，实现端到端训练，接近实时（5-10 FPS）。
• **Mask R-CNN**（2017）：在Faster R-CNN基础上增加掩码预测分支，同时完成实例分割，采用**RoI Align**解决RoI Pooling的量化误差。
• **单阶段方法**（One-Stage）：直接在图像网格上预测边界框与类别，速度更快。
• **YOLO**系列（You Only Look Once）：将检测视为回归问题，单次前向传播完成预测。YOLOv1（2016）速度快（45 FPS）但定位精度低；后续版本（v3、v5、v8）通过多尺度预测、锚框优化等持续提升精度与速度平衡。
• **SSD**（Single Shot MultiBox Detector，2016）：在多个特征层上预测不同尺度的物体，兼顾速度与多尺度检测。
• **RetinaNet**（2017）：提出**焦点损失**（Focal Loss），缓解单阶段方法中正负样本极端不平衡问题，精度媲美两阶段方法。

语义分割与实例分割 / Semantic and Instance Segmentation

定义：

• **语义分割**（Semantic Segmentation）：为图像中每个像素分配类别标签（如人、车、树），不区分同一类别的不同实例。
• **实例分割**（Instance Segmentation）：在语义分割基础上，进一步区分同一类别的不同个体（如不同的人、不同的车）。

评估指标：

• **平均交并比**（mean Intersection over Union, mIoU）：计算每个类别的IoU后取平均。IoU = 预测掩码与真实掩码重叠面积 / 并集面积。
• **平均精度**（AP）：类似检测，在特定IoU阈值下计算。

经典数据集：

• **PASCAL Context**：PASCAL VOC的扩展，包含400+类别语义标注。
• **Cityscapes**：城市街景，5000张精细标注图像，19个类别，用于自动驾驶场景理解。
• **ADE20K**：室内外场景，150个类别，涵盖日常物品与场景。
• **COCO**：同时提供实例分割标注，80个类别。

里程碑方法：

• **FCN**（2015）：首个端到端卷积分割网络，使用转置卷积上采样，实现像素级预测。但上采样粗糙，细节丢失。
• **U-Net**（2015）：对称的编码器-解码器结构，编码器下采样捕获语义，解码器上采样恢复空间分辨率，并通过**跳跃连接**（Skip Connections）融合编码器对应层特征，有效保留细节。在医学图像分割中成为标配。
• **DeepLab系列**（2016-2018）：引入**空洞卷积**（Atrous/Dilated Convolution）扩大感受野而不降低分