AI模型是谁——认识我们故事的主角
AI模型是谁——认识我们故事的主角
想象一下这样的场景：一位叫小明的科学家，花了整整三年时间，终于教会了一个超级计算机画小马。你知道吗？这台计算机画出来的小马，比很多画家画得都漂亮！可是，当小明想把这个小马画家装进自己的手机时，他发现了一个大问题——这个“画家”太大了，大得像一栋楼那么高的电脑才能装下。这就是我们这本书要解决的问题：在不牺牲能力的前提下，怎么让AI模型变得又小又快？
让我们先来认识一下这位“故事的主角”——AI模型。
什么是AI模型
你有没有想过，当你对着手机说“嘿，Siri”，手机是怎么听懂你说的话的？当你上传一张照片到某个App，它又是怎么认出照片里是你的？这些神奇功能的背后，都站着一个看不见的“小帮手”，它就是AI模型。
AI模型的全称是人工智能模型（Artificial Intelligence Model）。如果用一句话来解释，AI模型就是一个有记忆的函数。等等，函数是什么？还记得数学课上学过的$f(x) = y$吗？就是给定一个输入$x$，经过某种计算，吐出一个输出$y$。普通的函数，它的计算规则是固定的——就像计算器，你按1+1，它永远输出2。
但AI模型不一样。AI模型也有输入和输出，比如给它一张图片，它会告诉你“这是猫”还是“这是狗”。关键的区别在于，这个“计算规则”不是程序员一行一行写出来的，而是模型通过看大量例子，自己“学会”的。就像一个小孩看过很多只猫之后，自然就认识了猫——他没法解释为什么这是猫，但就是能认出来。AI模型也是一样的道理。
这种“学会”的能力，就是AI模型和普通程序最本质的区别。普通程序靠程序员用代码精确描述每一步该怎么做，而AI模型靠的是从数据中自己总结规律。程序员不需要告诉模型“猫有尖耳朵、有胡须、眼睛会反光”，只需要给模型看几十万张猫的图片，它自己就能学会什么样子的是猫。
这种从数据中学习的方法，叫做机器学习。而我们这本书要讲的深度学习，是机器学习中最强大的一种方法——它能让模型学到更深层次、更复杂的规律。
AI模型不是魔法，而是一种特殊的程序
有些小朋友可能会觉得AI模型很神秘，好像会“思考”一样。但其实，AI模型仍然是一种程序，只是这种程序的设计方式非常特别。
让我们来做一个对比。假设我们要写一个程序来判断一个人是不是超过了18岁：
```python
普通程序：精确规则
def is_adult(age): if age >= 18: return True else: return False ```
这段代码清清楚楚地写着“如果年龄大于等于18，返回真”。程序员的意图被代码完美地表达了，每一个逻辑都是明确的、可解释的。
但如果是AI模型来做这件事，代码看起来会完全不同：
```python
AI模型：参数化的复杂函数
假设这是一个简化的神经网络
def predict_age_model(input_data, weights):
中间有很多层计算
hidden = relu(dot(input_data, weights['layer1'])) hidden = relu(dot(hidden, weights['layer2'])) output = sigmoid(dot(hidden, weights['layer3'])) return output ```
这里的`weights`就是模型的“记忆”——不是普通程序员的注释或者变量，而是一大堆数字。这些数字是通过让模型“学习”得来的，单独看任何一个数字都毫无意义，但几十万个这样的数字组合在一起，模型就能做出准确的判断。
这就是为什么我们说AI模型是“有记忆的函数”：它的记忆就存储在那些密密麻麻的参数（也叫权重）里面。当你用不同的数据训练同一个模型结构，你会得到完全不同的参数，得到一个“学会”了不同技能的新模型。
神经网络：AI模型的骨架
如果把AI模型比作一个人，那么神经网络就是它的骨架。没有这个骨架，再多的参数也只能是一盘散沙。神经网络决定了参数是如何组织起来的，信息是如何一层一层传递和变化的。
什么是神经元
神经网络这个名字，来自它模仿人脑神经元结构的灵感。人脑中有大约860亿个神经元，每个神经元接收其他神经元传来的信号，经过处理后再把信号传给下一组神经元。我们的人工神经网络也是类似的原理——由许多“人工神经元”组成，这些神经元排成一层一层的结构。
一个简单的人工神经元是这样工作的：
1. 接收输入：它会收到上一层的很多数字（比如上一层的输出） 2. 加权求和：把每个输入乘以一个权重，然后加起来 3. 加上偏置：再额外加一个常数（叫做偏置） 4. 激活函数：最后通过一个非线性函数，把结果变成一个可以传递给下一层的值
用数学公式来表示，就是这样的：
$$y = f(\sum_{i=1}^{n} w_i \cdot x_i + b)$$
其中，$x_i$是输入，$w_i$是权重，$b$是偏置，$f$是激活函数。
你可能会问：为什么要用激活函数？为什么不能直接输出加权求和的结果？
答案在于：如果没有激活函数，一个多层神经网络其实可以被简化成一层的等效计算——因为多次线性变换的叠加还是线性变换。而现实世界中的问题，比如识别图片、理解语言，都是非线性的问题。没有非线性能力，神经网络就相当于一个“线性分类器”，能力会非常有限。激活函数就像给网络装上了“弯曲”的能力，让它可以处理各种复杂的、弯曲的边界。
常用的激活函数有很多种，比如ReLU（把负数变成0，正数保持不变）、Sigmoid（把输出压缩到0到1之间）、Tanh（把输出压缩到-1到1之间）等。每种激活函数都有自己的特点，适用于不同的场景。
层叠的艺术：深度神经网络
单个神经元能做的事情很有限，但如果把很多神经元排成一排组成一层，再把很多层堆叠起来，形成一个“深度”网络，就能表达非常复杂的规律。这就是为什么叫“深度学习”——通过增加网络的深度（层数），让模型能够学到更深层次的特征。
打个比方，如果你要识别一张图片是不是猫，神经网络的不同层会关注不同的特征：
- **第一层（最底层）**：可能会识别一些非常基本的边缘和纹理——哪里是直线，哪里是曲线，哪里颜色变化大
- **中间层**：会把这些基本特征组合起来，识别出更抽象的模式——哪里是眼睛的轮廓，哪里是耳朵的形状
- **高层**：会把这些局部特征整合起来，形成对整只猫的整体认知——哦，这是一个毛茸茸的、有尖耳朵的、会动的动物
这种从底层到高层、层层抽象的过程，是深度学习最核心的思想。就像我们认识一个人：先看到他的五官、身高、穿着，然后组合起来形成整体印象，最后记住这个人的样子。
想象一下你要教一个小朋友认识什么是“马”。如果你只是说“马是一种动物”，这对小朋友来说太抽象了。但如果给他看100张马的图片，让他自己总结规律，他可能会发现：马有四条腿、有鬃毛、尾巴是长的、会跑。这就是深度学习的工作方式——不需要程序员写出“马的定义”，模型自己从数据中总结出规律。
神经网络的结构图
让我们用流程图来展示一个简化的神经网络是如何处理数据的：
```mermaid flowchart LR subgraph Input["输入层"] I1[图片像素] I2[图片像素] I3[...] I4[图片像素] end
subgraph Hidden1["隐藏层 1"] H1_1[神经元] H1_2[神经元] H1_3[神经元] H1_4[神经元] end
subgraph Hidden2["隐藏层 2"] H2_1[神经元] H2_2[神经元] H2_3[神经元] end
subgraph Output["输出层"] O1[猫 85%] O2[狗 12%] O3[其他 3%] end
I1 --> H1_1 I1 --> H1_2 I2 --> H1_1 I2 --> H1_3 I3 --> H1_2 I3 --> H1_4 I4 --> H1_3 I4 --> H1_4
H1_1 --> H2_1 H1_2 --> H2_1 H1_2 --> H2_2 H1_3 --> H2_2 H1_3 --> H2_3 H1_4 --> H2_3
H2_1 --> O1 H2_2 --> O1 H2_2 --> O2 H2_3 --> O2 ```
在这个流程图中，我们可以看到信息是如何从左到右流动的：
- **输入层**接收原始数据（比如一张图片的所有像素值）
- **隐藏层1**对输入进行第一次加工，提取出一些低级特征
- **隐藏层2**对第一层的输出进行第二次加工，组合出更高级的特征
- **输出层**综合所有信息，得出最终判断（这张图有85%的可能是猫）
这就是一个典型的前馈神经网络——信息从输入端流向输出端，不走回头路。
训练与推理：学会与运用
了解了神经网络的结构，接下来我们要问：这些参数（权重和偏置）到底是怎么来的？答案是：通过训练得来的。
什么是训练
训练就是让模型“学会”的过程，就像我们学习新技能一样。
回想一下你是怎么学会系鞋带的。一开始你笨手笨脚，绕来绕去总是系不好。妈妈耐心地教你：先把这根穿过那根，然后绕一圈，拉紧……你试了一次，发现不对；又试了一次，还是不对；试了十几次、几十次之后，你终于成功系好了一个漂亮的蝴蝶结。
学习骑自行车也是这样。刚开始你总是摔倒，重心掌握不好。但每摔倒一次，你就学到一点经验：这次往左偏太多了，下次要往右一点；这次速度太快，下次慢一点……慢慢地，你就学会了骑车。
AI模型的训练过程和这非常相似。训练的核心步骤是：
1. 准备数据：收集一大堆例子，比如几万张标好类别的图片（这张是猫，那张是狗） 2. 计算预测：把图片喂给模型，让它做出预测 3. 计算误差：看看模型的预测和正确答案差多少 4. 调整参数：根据误差的方向，调整模型的参数，让下次预测更准确 5. 重复以上步骤：把整个训练数据集翻来覆去地学很多遍，直到模型表现得足够好
这个过程在机器学习中有一个专门的名字，叫做反向传播（Backpropagation）。它的原理其实不复杂：每一次预测后，我们都能知道每个参数对最终误差的“贡献”有多大——如果某个参数变大一点点会让误差变大，那就把这个参数调小一点；如果会让误差变小，那就调大一点。就像在一片漆黑的山上找下山的路：虽然看不见路在哪里，但只要能感觉到脚下的坡度是往上还是往下，一步一步地往低处走，最终就能到达谷底。
数学上，反向传播用到了链式法则（Chain Rule），这是微积分里的知识。如果你学过求导，应该能理解这个思路；如果没学过也没关系，记住一个核心思想就够了：通过计算误差相对于每个参数的导数，我们知道每个参数应该往哪个方向调整多少。
调整的幅度有一个专门的名字叫学习率（Learning Rate）。如果把训练比作下山，学习率就是你迈一步的大小：太大了可能会在谷底附近来回蹦跶，永远站不稳；太小了又会走得太慢，还没到山底头发都白了。调节学习率是训练深度学习模型的一项关键技术。
训练完成后，我们得到的就是一组确定的值——所有的权重和偏置都被固定下来，不再变化。这组值就是“训练好的模型”，也就是我们最终要使用的那个“有记忆的函数”。
什么是推理
训练是“学习”的过程，那什么是推理呢？
推理就是使用训练好的模型来解决实际问题的过程。就像你学会了骑自行车之后，骑车去买菜；你学会了系鞋带之后，每天上学都能自己系好。训练是练习，推理是实战。
推理的过程比训练简单得多。训练时我们需要前向传播（算预测值）、反向传播（算梯度）、更新参数，循环往复很多次；推理时我们只需要前向传播一次，把输入变成输出就可以了。训练可能需要几天甚至几周，推理只需要几毫秒。
这也是为什么我们如此关心模型大小的原因。推理发生在实际使用的场景中——可能是你的手机、可能是智能摄像头、可能是无人机。如果模型太大，这些边缘设备根本跑不动。就像小明遇到的问题：那个会画马的模型确实很厉害，但它太大了，大得像一栋楼，手机怎么可能装得下呢？
训练与推理的区别
让我们用一个更具体的例子来理解训练和推理的区别。
假设你要训练一个能识别手写数字（0-9）的模型：
训练阶段：
```python
伪代码：训练循环
for epoch in range(100): # 训练100轮 for batch in training_data: # 一批一批地学习
前向传播：算预测值
predictions = model(batch.images)
计算损失：看看错得多离谱
loss = compute_loss(predictions, batch.labels)
反向传播：算梯度
gradients = backpropagate(loss, model)
更新参数：让模型下次少犯错
update_weights(model, gradients, learning_rate=0.01) ```
推理阶段：
```python
伪代码：使用模型
user_input = get_digit_image() # 用户写了一个数字 prediction = model(user_input) # 一遍前向传播 print(f"你写的是数字：{prediction}") # 输出结果 ```
可以看到，推理阶段没有循环、没有梯度计算、没有参数更新，只是简单地把输入喂给模型，拿到输出。训练是一个复杂的、迭代的、需要大量计算的过程；推理是一个简单的、一次性的、追求速度的过程。
模型大小：参数数量与存储
回到小明画马的故事。他训练的模型之所以大得像一栋楼，主要是因为模型的参数太多了。参数越多，模型能存储的信息就越多，能力可能就越强——但同时，模型也会越大，需要更多的存储空间和计算资源。
参数数量
参数数量是衡量模型大小的最直接指标。这里的“参数”特指神经网络中的权重和偏置。
拿我们前面看到的那个小神经网络来算一笔账：
- 输入层：4个神经元
- 隐藏层1：4个神经元
- 隐藏层2：3个神经元
- 输出层：3个神经元
参数数量计算：
- 输入层到隐藏层1：$4 \times 4 = 16$ 个权重
- 隐藏层1的偏置：4个
- 隐藏层1到隐藏层2：$4 \times 3 = 12$ 个权重
- 隐藏层2的偏置：3个
- 隐藏层2到输出层：$3 \times 3 = 9$ 个权重
- 输出层的偏置：3个
总计：$16 + 4 + 12 + 3 + 9 + 3 = 47$ 个参数
这看起来不多对吧？但真实的深度学习模型参数动不动就上亿：
- 早期的ResNet-50：约2500万参数
- BERT（著名的语言模型）：约3亿参数
- GPT-3：约1750亿参数
- GPT-4：据估计在1万亿参数以上
如果我们把每个参数想象成一个文件夹，那么BERT就需要3亿个文件夹才能装下。如果每个文件夹占用4个字节的存储空间（标准的32位浮点数），那BERT光是参数就要占用约1.2GB的存储空间——还没算模型运行时的临时计算内存。
存储空间
模型文件的大小基本上由参数数量和参数的数据类型决定。
常用的数据类型有两种：
- **FP32（32位浮点数）**：每个参数占4个字节，精度高，但占用空间大
- **FP16（16位浮点数）**或**INT8（8位整数）**：每个参数占2个或1个字节，体积小一半到四倍，但可能损失一点精度
用小明画的马举个例子：
| 模型版本 | 参数数量 | 数据类型 | 文件大小 | |---------|---------|---------|---------| | 原始版本 | 10亿 | FP32 | 约4GB | | 压缩版 | 10亿 | FP16 | 约2GB | | 极致压缩 | 10亿 | INT8 | 约1GB | | 小型版 | 1亿 | FP32 | 约400MB |
400MB听起来好像不大？但你要知道，一般的手机App安装包也就几十MB，一个完整的游戏也就1-2GB。你的手机存储空间是有限的，不能把所有大模型都装进去。
更关键的问题是：运行一个大模型需要很大的计算能力和内存。手机芯片虽然近年来进步很快，但和专业显卡比起来还是差了几十倍。一个需要1万亿次计算的大模型，在专业服务器上可能0.1秒就算完了，但在手机上可能需要几十秒甚至几分钟——这在用户体验上是完全不可接受的。
为什么模型压缩很重要
正是因为推理往往发生在资源受限的设备上——手机、智能手表、汽车、摄像头、耳机……这些设备的算力、内存、电池都是有限的。模型压缩就是让大模型变小、变快、能在边缘设备上运行的一系列技术。
这正是这本书的核心主题。我们会介绍各种模型压缩方法：
- **剪枝（Pruning）**：把那些不重要的连接“剪掉”，就像修剪树枝一样
- **量化（Quantization）**：把高精度数转换成低精度的，牺牲一点准确度换取速度和体积
- **知识蒸馏（Distillation）**：让大模型当老师，教出一个能力相当但更小的小模型
- **神经网络架构搜索（NAS）**：直接设计更高效的模型结构，而不是事后压缩
每一种方法都有它的原理、适用场景和trade-offs。我们会在后面的章节中一一详细介绍。
第一个实践：运行一个图像分类器
说完了理论，是时候动手试一试了。没有什么比亲身体验更能帮助理解的概念。
在这个实践环节中，我们会用Python写一个最简单的图像分类程序。我们会用到PyTorch这个深度学习框架——它是目前最流行的深度学习工具之一。
环境准备
首先，我们需要安装Python和PyTorch。如果你使用的是Google Colab（一个免费的在线编程环境），这些都已经安装好了。如果你想在本地运行，可以去官网下载安装。
```bash
安装PyTorch（CPU版本，适合学习）
pip in