初入职场：我的第一个深度学习落地任务 / Chapter 1: First Day at Work: My First Deep Learning Deployment Task

2024年7月15日，早上8点47分，小深站在“智联公益”AI部门走廊的落地镜前，第三次调整刚熨好的衬衫领口——这是他从计算机视觉硕士毕业、入职这家以AI技术赋能公益场景的公司的第一天，背包里装着导师推荐的《深度学习落地实战》笔记，还有昨晚熬夜整理的ResNet-50猫狗分类模型的优化思路，他至今记得面试时技术总监说的话：“我们这里不养调参侠，要的是能把模型送到真正需要的人手里的人。”

电梯门叮的一声打开，一个穿着格子衬衫、抱着半箱矿泉水的男人走出来，看见他愣了一下，随即笑起来：“是小深吧？我是张工，你的导师，欢迎加入。”小深连忙接过矿泉水，跟着张工走进办公室，还没坐稳，张工就把一台边缘设备、一个U盘和一份救助站的申请报告推到他面前：“你的第一个任务：把实验室里训好的流浪猫识别模型，部署到这个设备上，给城西的流浪猫救助站用。”

小深眼睛一亮，这正是他擅长的领域。他在学校的时候，用ResNet-50在Stanford Dogs数据集上训出来的猫狗分类模型，Top-1准确率达到了98.7%，还拿了Kaggle猫狗分类竞赛的铜牌，在他想来，这不过是个简单的部署任务，最多花一两天就能搞定。

张工似乎看出了他的想法，把那份申请报告翻到第三页，上面贴着一组对比图：左边是实验室数据集里的猫图，高清、正面、光线充足，右边是救助站夜视摄像头拍的猫图，模糊、仰角、背景里堆着纸箱和猫粮袋，还有半个人影入镜。“先别急，你先看看这个。之前有个同事做了个类似的模型，实验室指标94%，deployed到救助站之后，准确率只有61%，工作人员用了三天就弃用了，嫌不如人工登记得快。”张工喝了口咖啡，指了指角落里的那台旧设备，“那是之前同事留的‘失败品’，你可以先拿它练手。”

> 💡 纸书侧边栏：什么是“落地”？ > 对算法工程师来说，“落地”不是把模型权重保存下来、在测试集上跑个高分就结束，而是让模型在真实的生产环境中稳定运行，真正解决实际问题。实验室里的99%准确率，如果没有落地，就是一堆没有用的数字。

小深接过U盘，里面是实验室训好的ResNet-50权重，还有标注好的猫狗分类数据集。他抱着设备回到自己的工位，信心满满地开始部署：首先安装依赖，然后把模型加载进去，跑了一张测试图，0.02秒出结果，准确率100%。他心里松了口气，看来任务比想象中简单。

然而当他尝试把模型加载到救助站的那台边缘设备上时，屏幕突然跳出来一行红色的错误提示： ``` RuntimeError: CUDA out of memory. Tried to allocate 2.00 GiB (total 3.83 GiB; free 2.45 GiB; reserved 1.20 GiB) ``` 小深愣了一下，OOM？显存不够？他查了一下设备的参数：这是一台基于RK3588芯片的边缘设备，算力只有6TOPS（INT8），显存只有4GB，而他实验室里用的NVIDIA A100 80GB GPU，单精度算力是19.5 TFLOPS，显存是他的20倍。他之前从来没考虑过显存限制的问题，实验室里的batch size设256，模型占3.2GB显

他盯着屏幕上的红色报错看了三分钟，才后知后觉地想起自己从来没关注过边缘设备的硬件参数——在学校实验室里，他用的永远是系里最新采购的NVIDIA A100 GPU集群，单卡80GB显存，FP32峰值算力19.5 TFLOPS，跑ResNet-50的时候甚至可以把batch size开到1024，模型加载、前向传播、反向传播全程像德芙一样丝滑，他早就习惯了“硬件够用”的默认前提，从来没考虑过显存、算力这些约束条件。

他迅速查了RK3588的技术参数：这是一款2022年发布的国产高端边缘AI芯片，INT8峰值算力6 TOPS，板载内存4GB，其中留给AI推理的显存只有2.8GB——而他在实验室训的ResNet-50 FP32模型权重就有100MB，加载到显存里再加上中间激活张量，batch size=1的时候就要占2.1GB，要是开batch size=2，直接就会触发OOM。更要命的是，RK3588的AI算力是基于INT8精度的，FP32的算力只有1.2 TFLOPS，比A100慢了整整16倍。

> 💡 电子版侧边栏：关键术语解释 > - TOPS（Tera Operations Per Second）：每秒万亿次运算，是衡量AI芯片算力的常用单位，精度越高（比如FP32 vs INT8），相同硬件下的算力越低。 > - OOM（Out Of Memory）：显存/内存溢出，是深度学习部署中最常见的错误之一，通常由模型过大、batch size过高、硬件资源不足导致。👉 [常见OOM问题排查指南](https://example.com/oom-guide)（电子版可点击跳转） > - 边缘设备（Edge Device）：指部署在数据产生端的计算设备，比如摄像头、工控机、手机，和云端服务器相对，特点是低功耗、低算力、离线可用。👉 [边缘计算入门教程](https://example.com/edge-computing)（电子版可点击跳转） > - <term>量化（Quantization）</term>：一种模型压缩技术，通过把模型参数从高精度浮点数（比如FP32）转换为低精度整数（比如INT8），大幅降低模型大小和推理耗时，通常精度损失不超过2%。

小深的第一反应是降低batch size，他把推理代码里的batch size从256改到1，果然OOM消失了，但是新的问题来了：单张图片的推理时间从实验室的2ms涨到了280ms，再加上图片预处理的时间，整体响应时间超过了500ms——而救助站的工作人员要求识别一张图片的时间不能超过200ms，不然他们登记100只猫要花近10分钟，还不如人工快。

他翻了翻之前同事留的“失败品”的代码，里面提了一句“做了量化”，但是没留具体实现。他突然想起研一的时候上过《模型压缩》的课，里面讲过<term>量化（Quantization）</term>的概念：把模型从高精度的FP32（32位浮点数）转换成低精度的INT8（8位整数），模型大小可以降到原来的1/4，推理速度可以提升2-4倍，精度损失通常不超过2%。他迅速在PyTorch的文档里找到了动态量化的接口，三行代码就把模型转成了INT8版本，加载到RK3588上测试，单张推理时间降到了85ms，加上预处理总共150ms，终于满足了响应时间的要求。

```python

实验室FP32模型推理代码

import torch import time

加载实验室训好的FP32模型

model_fp32 = torch.load('resnet50_fp32_weights.pth') model_fp32.eval().cuda() # 实验室用A100 GPU

测试单张图片推理时间

input_tensor = torch.randn(1, 3, 224, 224).cuda() with torch.no_grad(): start = time.time() output = model_fp32(input_tensor) fp32_inference_time = time.time() - start print(f"FP32单张推理时间：{fp32_inference_time*1000:.2f}ms") # 输出约2ms

----------------------

生产环境INT8量化代码

----------------------

import torch.quantization as tq

动态量化：把Linear和Conv2d层转为INT8

model_int8 = tq.quantize_dynamic( model_fp32.cpu(), # 量化需要在CPU上做 {torch.nn.Linear, torch.nn.Conv2d}, dtype=torch.qint8 ) model_int8.eval()

边缘设备推理测试

input_tensor_cpu = torch.randn(1, 3, 224, 224) with torch.no_grad(): start = time.time() output = model_int8(input_tensor_cpu) int8_inference_time = time.time() - start print(f"INT8单张推理时间：{int8_inference_time*1000:.2f}ms") # 输出约85ms

优化说明：量化后模型大小从100MB降到25MB，推理速度提升3倍以上，精度损失仅1.2%

```

他兴奋地把量化后的模型加载到边缘设备上，随便找了10张实验室的猫狗测试图，识别准确率100%，心里松了口气，觉得这次肯定能搞定。第二天一早，他抱着设备去了城西的流浪猫救助站。

救助站的条件比他想象的差得多：院子里堆着半人高的纸箱，地上撒着猫粮和砂土，几只脏兮兮的猫在