绪论：计算机视觉的发展脉络与核心任务

当我们用手机拍摄一张风景照，相册会自动将其标记为“日落”“海滩”；当自动驾驶汽车行驶在街道上，能实时识别前方的行人、车辆和交通信号灯；当医生查看肺部CT影像时，AI系统能自动标注出疑似结节的位置——这些看似差异显著的场景背后，都依赖同一项技术的支撑：计算机视觉（Computer Vision，CV）。作为人工智能领域最接近人类感知能力的分支，计算机视觉致力于让机器能够“看”懂图像与视频中的内容，从像素级的信号中提取高层语义信息，进而完成理解、判断、决策等类人智能行为。其研究范畴涵盖从底层图像处理、中层特征提取到高层语义理解的全链路技术，既包括对静态图像的分析，也包括对动态视频的时序处理，最终目标是实现机器对视觉世界的感知、认知与交互能力，甚至在某些特定场景下超越人类的视觉感知精度与效率。

<学习提示> 初学者常将计算机视觉与图像处理混淆，二者的核心差异在于输出目标：图像处理（Image Processing）的核心是对图像像素进行数学变换，以达到增强、滤波、压缩等目的，其输出仍然是图像本身，例如对模糊照片进行锐化、对低分辨率图像进行超分辨率重建；而计算机视觉的核心是从图像中提取语义信息，输出是对场景的描述、判断或决策，例如识别照片中的物体类别、判断图像中是否存在异常行为。两者存在明显的边界，但也存在交叉领域，例如超分辨率重建既可以视为图像处理任务，也可以作为计算机视觉的底层预处理环节。

计算机视觉的发展历程与人工智能领域的整体脉络高度重合，经历了从理论奠基到技术爆发再到大规模落地的多个阶段，每个阶段的核心突破都深刻改变了技术的研究范式与应用边界。

1.1 计算机视觉的发展脉络

<里程碑> 计算机视觉的正式起源可追溯至1963年麻省理工学院（MIT）博士生Larry Roberts的博士论文《Machine Perception of Three-Dimensional Solids》，该论文首次提出了从二维图像中重建三维物体并完成识别的理论框架，标志着计算机视觉作为独立研究领域的诞生。同年，MIT启动了“夏季视觉项目（Summer Vision Project）”，首次明确了计算机视觉的研究目标：让机器能够模拟人类视觉系统，完成对三维世界的感知与理解。这一阶段的研究核心是探索视觉系统的底层原理，尚未形成成熟的技术体系。

1970年代，认知科学家David Marr提出了影响深远的计算视觉理论，将视觉研究划分为三个相互关联的层次，这一框架至今仍是计算机视觉研究的核心指导原则：计算理论层明确视觉任务的目标与物理约束，例如目标检测的目标是定位所有感兴趣物体，约束是目标通常具有连续的边缘和纹理特征；算法实现层设计完成任务的特定算法，例如通过边缘检测、特征匹配等步骤完成目标定位；硬件实现层用物理硬件落地算法，例如用GPU加速卷积运算。Marr理论的核心贡献是将视觉研究从零散的算法尝试提升到了系统化的理论高度，为后续数十年的研究指明了方向。

1980年代，统计模式识别理论逐步成熟，支持向量机（SVM）、主成分分析（PCA）等传统机器学习方法被引入视觉任务，视觉研究从纯理论探索进入了可落地验证的阶段。1989年，Yann LeCun提出的LeNet模型首次将卷积神经网络（CNN）应用于手写数字识别任务，识别准确率超过99%，证明了神经网络在视觉任务上的可行性，但由于当时算力不足、数据集规模有限，该成果并未引发学界广泛关注。同时，PASCAL VOC数据集发布，为后续的目标检测、图像分类任务提供了标准的评测基准，该数据集包含20类常见物体，共1.1万张标注图像，至今仍是目标检测领域的经典入门数据集。

<里程碑> 1999年，David Lowe提出的尺度不变特征变换（SIFT）算法成为该阶段的里程碑式成果，该特征对图像的旋转、缩放、光照变化、视角变换具有极强的鲁棒性，被广泛应用于图像拼接、目标跟踪、图像检索等任务，成为后续十余年手工特征设计的标杆。2005年，Navneet Dalal提出的方向梯度直方图（HOG）特征则在行人检测任务上取得了突破性进展，结合SVM分类器实现了当时最高的行人检测准确率，成为后续目标检测算法的核心特征基础。同年提出的VJ检测器（Viola-Jones检测器）首次实现了实时人脸检测，检测帧率超过10FPS，被广泛应用于早期数码相机的自动对焦功能，是计算机视觉首个大规模商用的落地案例。

这一阶段的技术核心是“手工特征设计+浅层机器学习”，研究者需要针对不同任务设计特定的特征，泛化性极差，无法应对复杂场景下的视觉变化，技术天花板十分明显。

<里程碑> 2006年，Geoffrey Hinton等人发表的《Reducing the Dimensionality of Data with Neural Networks》重新点燃了学界对深度学习的研究热情，但真正引爆计算机视觉领域的是2012年ImageNet大规模视觉识别挑战赛（ILSVRC）中，Alex Krizhevsky提出的AlexNet模型将图像分类Top-5错误率从上一年的26.1%降低至15.3%，首次证明了深度卷积神经网络（CNN）在视觉任务上的巨大潜力。AlexNet的核心创新点包括：使用ReLU激活函数解决梯度消失问题、使用Dropout防止过拟合、使用数据增强提升泛化能力、使用GPU加速训练，这些创新点至今仍是深度学习训练的常用技巧。

AlexNet的成功开启了计算机视觉的深度学习时代，此后技术呈井喷式发展：2014年，GoogLeNet引入Inception结构，将分类错误率降至6.7%；2015年，何恺明团队提出的残差网络（ResNet）解决了深度神经网络的梯度消失问题，将分类错误率进一步降至3.6%，接近人类水平（人类在ImageNet上的分类错误率约为5%）。在目标检测领域，2014年Ross Girshick提出的R-CNN系列算法开启了深度学习目标检测的序幕，2015年提出的Faster R-CNN首次实现了端到端的两阶段检测框架， mAP（平均精度均值）达到42.7%；2016年提出的YOLO系列算法则开创了一阶段实时检测的先河，目前YOLOv8等算法的检测帧率已超过100FPS，完全满足实时性需求。在图像分割领域，2015年提出的全卷积网络（FCN）首次实现了像素级语义分割，2017年提出的Mask R-CNN则统一了目标检测、实例分割、关键点检测

2017年提出的Mask R-CNN则统一了目标检测、实例分割、关键点检测三个任务，在COCO数据集上的mAP达到37.8%，成为后续多年实例分割任务的基准框架。同年，特征金字塔网络（FPN）提出，通过构建多尺度的特征融合结构，大幅提升了小目标的检测和分割精度，至今仍是目标检测和分割模型的标配模块。2018年之后，计算机视觉的研究重点逐步从算法精度提升转向效率优化与落地适配：一方面，轻量级卷积神经网络（如MobileNet、ShuffleNet、EfficientNet）通过深度可分离卷积、通道混洗、神经架构搜索（NAS）等技术，在保持精度的前提下将模型体积压缩到原来的1/10甚至1/100，满足了手机、嵌入式设备等端侧场景的部署需求；另一方面，自监督学习、半监督学习、小样本学习等低标注依赖的技术逐步成熟，大幅降低了视觉模型的训练成本，解决了医疗、工业等标注成本极高的场景的落地难题。

2017年，谷歌团队提出的Transformer架构在自然语言处理领域取得突破性进展，其自注意力机制能够捕捉序列中任意位置的全局依赖关系，这一特性很快被计算机视觉研究者注意到。2020年，谷歌大脑团队提出Vision Transformer（ViT）模型，首次将纯Transformer架构应用于图像分类任务：该模型将图像分割为16×16的像素块序列，输入Transformer编码器进行分类，在ImageNet数据集上达到了88.55%的Top-1准确率，超越了当时最优的卷积神经网络模型。ViT的成功证明了大容量模型配合大规模数据可以突破CNN的精度天花板，也开启了计算机视觉的“大模型时代”。此后，视觉大模型的发展呈爆发态势：2021年，Meta提出的Masked Autoencoders（MAE）通过掩码自监督学习的方式，仅用10%的标注数据就达到了与全监督训练相当的精度，大幅降低了视觉模型的标注成本；2023年，Meta提出的Segment Anything Model（SAM）是首个大规模交互式分割基础模型，该模型在包含1100万张图像、11亿个掩码的SA-1B数据集上训练，能够实现零样本（Zero-shot）的任意目标分割，无需针对特定场景进行微调即可完成复杂场景下的分割任务，被研究者称为“计算机视觉领域的GPT时刻”。与此同时，多模态大模型也逐步成熟，2021年OpenAI提出的CLIP模型通过对比学习将图像和文本映射到同一语义空间，实现了无需微调的零样本图像分类，甚至可以完成“输入文本描述，从图像库中检索对应图像”的跨模态任务，大幅拓展了计算机视觉的应用边界。

<里程碑> 2024年，视觉大模型的能力已经接近通用人工智能（AGI）的初级阶段：不仅能完成分类、检测、分割等传统视觉任务，还能理解图像中的复杂语义关系，完成视觉推理、视觉问答、图像编辑等复杂任务，甚至可以通过多轮交互理解用户的模糊需求，生成符合要求的视觉内容。这一阶段的突破不仅改变了视觉技术的研究范式，也正在重构整个人工智能的应用生态。

1.2 计算机视觉的核心研究任务

计算机视觉的研究任务按照从底层感知到高层理解的粒度，可以分为图像分类、目标检测、图像分割、目标跟踪、图像生成五大核心任务，各任务的定义、输出目标、核心指标存在明显差异，但又存在紧密的技术关联，共同构成完整的视觉理解链路。

1.2.1 图像分类：视觉任务的基石

图像分类（Image Classification）是计算机视觉最基础、研究最成熟的核心任务，其定义非常明确：给定一张输入图像，模型需要输出该图像所属的预定义类别标签，核心目标是判断“图像中主要包含什么内容”。例如输入一张猫的图片，模型输出“猫”的类别标签；输入一张汽车的图片，输出“汽车”的标签。图像分类是几乎所有高级视觉任务的基础：目标检测需要先对候选区域进行分类，图像分割需要对每个像素所属的类别进行判断，目标跟踪需要先对目标进行分类识别。

<学习提示> 初学者容易将图像分类与日常所说的“识图”混淆，二者的核心差异在于：图像分类的输出是预定义的有限类别集合中的标签，而日常识图可以是开放域的任意描述。例如输入一张“一只猫坐在沙发上”的图片，图像分类模型只能输出“猫”或“沙发”等预定义标签，而大语言模型加持的视觉模型可以输出完整的语义描述。

图像分类的核心评价指标是Top-1准确率和Top-5准确率：Top-1准确率指模型输出的最高概率类别与真实类别一致的比例，Top-5准确率指真实类别出现在模型输出概率最高的5个类别中的比例。以ImageNet数据集为例，人类在分类任务上的Top-5准确率约为95%，2015年提出的ResNet模型在ImageNet上的Top-5准确率达到96.4%，首次超过人类水平，此后的视觉大模型在ImageNet上的Top-1准确率已经超过90%，Top-5准确率接近100%。

除了基础的图像分类任务，研究者还针对特定场景提出了多个衍生任务：细粒度分类要求区分同一大类下的不同子类，例如区分不同品种的狗、不同型号的汽车、不同种类的鸟类，其难点在于类间差异极小，需要捕捉极细微的特征差异；多标签分类要求一张图像可以同时属于多个类别，例如一张“海滩日落”的图片同时属于“海滩”和“日落”两个类别；长尾分布分类针对现实场景中类别样本数量差异极大的问题，例如ImageNet数据集中部分类别有超过1万张样本，而部分类别仅有几十张样本，模型容易出现对头部类别的过拟合、对尾部类别的识别准确率极低的问题。

以下是一个基于PyTorch的简单图像分类代码示例，展示如何使用预训练的ResNet50模型完成图像分类任务，帮助初学者快速理解分类任务的实现逻辑： ```python import torch import torchvision.models as models import torchvision.transforms as transforms from PIL import Image

加载在ImageNet上预训练的ResNet50模型

model = models.resnet50(pretrained=True) model.eval() # 切换到推理模式

定义图像预处理流程：与模型训练时的预处理保持一致

preprocess = transforms.Compose([ transforms.Resize(256), # 将图像短边缩放至256像素 transforms.CenterCrop(224), # 中心裁剪为224×224像素，匹配模型输入尺寸 transforms.ToTensor(), # 转换为PyTorch张量 transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) # 标准化 ])

加载待分类的图像

img = Image.open("cat.jpg") img_tensor = preprocess(img).unsqueeze(0) # 增加batch维度，匹配模型输入格式

推理过程

with torch.no_grad(): # 关闭梯度计算，减少内存消耗 output = model(img_tensor)

解析结果：输出概率最高的类别

_, predicted = torch.max(output, 1) print(f"预测类别索引: {predicted.item()}") ```

1.2.2 目标检测：定位与分类的结合

目标检测（Object Detection）是计算机视觉领域应用最广泛的核心任务之一，其定义是：给定一张输入图像，模型需要输出所有感兴趣目标的类别标签和对应的边界框（Bounding Box，简称bbox）坐标，核心目标是判断“图像中有什么，以及它们的位置在哪里”。例如在自动驾驶场景中，目标检测模型需要输出图像中所有车辆、行人、交通信号灯的位置和类别；在安防监控场景中，需要输出所有入侵人员、遗留包裹的位置和类别。

<注意> 边界框是目标检测的核心输出形式，通常用左上角坐标$(x_1,y_1)$和右下角坐标$(x_2,y_2)$表示，也可以用中心点坐标$(x_c,y_c)$、宽度$w$、高度$h$表示，两种格式可以通过简单的坐标变换互相转换。

目标检测是分类任务与回归任务的结合：一方面需要对每个候选目标进行类别分类，另一方面需要回归目标的边界框坐标。根据检测范式的不同，目标检测算法可以分为两大类：两阶段检测算法（如R-CNN系列、Faster R-CNN）先生成候选目标区域，再对候选区域进行分类和坐标回归，精度较高但速度较慢；一阶段检测算法（如YOLO系列、SSD、RetinaNet）直接对整张图像进行类别预测和坐标回归，速度极快但精度略低于两阶段算法，目前YOLOv8等主流一阶段算法的检测帧率已经超过100FPS，完全可以满足实时性需求。

目标检测的核心评价指标包括mAP（平均精度均值，mean Average Precision）和FPS（每秒帧数，Frames Per Second）：mAP是衡量检测精度的核心指标，计算方式为对每个类别计算平均精度（AP），再对所有类别的AP求均值，mAP越高说明检测的准确率越高；FPS是衡量检测速度的核心指标，FPS越高说明检测的速度越快，实时场景通常要求FPS≥25。此外，衡量边界框回归精度的核心指标是IoU（交并比，Intersection over Union），其计算公式为： $$IoU = \frac{Area(Predicted Box \cap Ground Truth Box)}{Area(Predicted Box \cup Ground Truth Box)}$$ IoU的取值范围为0到1，值越接近1说明预测框与真实框的重合度越高，通常IoU≥0.5认为检测框是正确的。

目标检测的典型难点包括：小目标检测（如航拍图像中的车辆、行人，仅占几个像素）、密集目标检测（如人群中的行人、农田中的果实，目标之间高度重叠）、遮挡目标检测（如被车辆遮挡的行人、被树叶遮挡的交通标志）、域适应检测（如用合成数据训练的模型在真实场景下性能大幅下降）。

1.2.3 图像分割：像素级的视觉理解

图像分割（Image Segmentation）是比目标检测粒度更细的视觉任务，其定义是：给定一张输入图像，对每个像素分配对应的语义或实例标签，核心目标是判断“每个像素属于什么内容”。图像分割是像素级的视觉理解任务，输出的结果是像素级的掩码（Mask），而非目标检测的矩形框，因此可以更精确地描述目标的轮廓和形状。

根据标签粒度的不同，图像分割可以分为三个子任务： 1. 语义分割（Semantic Segmentation）：对同一类别的所有像素分配相同的标签，不区分不同实例。例如图像中的所有“人

例如图像中的所有“人”都被标记为同一类别，即使图像中存在多个不同的人，也不会进行

例如图像中的所有“人”都被标记为同一类别，即使图像中存在多个不同的人，也不会进行实例区分，因此语义分割的输出仅包含类别信息，不包含实例ID。语义分割的典型应用场景是自动驾驶的环境感知：模型需要将图像中的每个像素划分为“道路”“人行道”“车辆”“行人”“交通标志”等类别，为自动驾驶决策提供场景理解支持，目前主流语义分割模型在Cityscapes数据集上的平均交并比（mIoU）已经超过85%，完全满足工业落地需求。

2. 实例分割（Instance Segmentation）：是语义分割的延伸，不仅需要区分不同类别的像素，还需要区分同一类别下的不同实例。例如图像中存在两个行人，语义分割会将两个行人的像素都标记为“人”类别，而实例分割会分别为两个行人分配不同的实例ID（比如行人1标记为红色，行人2标记为蓝色），从而区分不同的个体。实例分割的核心难点在于如何分离高度重叠的同类目标，2017年提出的Mask R-CNN通过在Faster R-CNN的基础上添加掩码预测分支，首次实现了高精度的实例分割，在COCO数据集上的mAP达到37.8%，至今仍是实例分割任务的经典基准。实例分割的典型应用场景包括人群计数（通过分割每个行人的掩码统计人数）、医学细胞计数（分割每个细胞的掩码统计细胞数量）、零售商品盘点（分割每个商品的掩码统计库存）。

3. 全景分割（Panoptic Segmentation）：是语义分割与实例分割的融合任