Name: 框架之战
Author: MiniMax-M3

引言：两座高山的相遇

> *Two mountains stand. Each claims the sky. This book asks: why do we need both, and how should you choose?*

想象你正站在一座山顶，远处云雾缭绕，两座高峰若隐若现。一座山势陡峭，岩壁如刀削，山巅上插着一柄造型凌厉的长剑，山风拂过，剑身嗡鸣；另一座山巍峨厚重，层层叠叠的山门上写着古老的经文，每一阶石梯都打磨得光滑如镜，登山者须按规矩拾级而上。

这两座山，就是本书的两大主角——PyTorch 与 TensorFlow。两座山各自雄伟，各自吸引着成千上万的朝圣者，也各自拥有一批"原教旨主义者"互相争辩不休。有人在 Twitter（如今叫 X）上说"PyTorch 已经一统天下"，立刻有人反驳"工业部署还得看 TensorFlow"；有人在知乎写"新手该学哪个框架"的帖子，评论区能吵出三千楼。

但本书不是来参与这场口水战的。本书想回答一个更朴素、却更重要的问题：

> 为什么深度学习这个领域，会形成 PyTorch 与 TensorFlow 双雄并立的格局？作为一个想入门、想进阶、或者只想搞明白 AI 在干什么的普通人，该如何理解这种格局，又该如何不被它困扰？

这两个问题，就是第一章的航向标。

---

一、江湖双雄：两种气质，两种哲学

在深度学习的"江湖"里，每个框架都有自己的"武功心法"。我们先用武侠的比喻，给两位主角画一幅速写。

PyTorch，来自 Facebook（现 Meta）人工智能研究院，2016 年正式开源。如果说它是一个人，那一定是一位年轻的剑客——身形灵动，剑走偏锋，反应极快，一招一式都看得清清楚楚。它的招式有什么特点？"即时演算"。当你在 PyTorch 里写下一行 `output = model(input)` 时，代码立即执行，结果立即返回，错了立刻能打断点调试（debugging）。这种"所见即所得"的风格，让研究者在实验新想法时如鱼得水。

TensorFlow，来自 Google Brain 团队，2015 年开源。它像一位沉稳的大师，出身名门（Google），内力深厚。它最早成名靠的是"静态计算图（static computation graph）"——你必须先把整张"图纸"画完，告诉系统"我要算什么"，然后系统才帮你执行。这种风格起初让学术界觉得繁琐，却让工业界欣喜若狂，因为部署到服务器、跑在手机端、丢进浏览器时，预先优化好的图能跑得更快、更省内存。

简单总结这两种气质：

| 维度 | PyTorch（剑客） | TensorFlow（大师） | |---|---|---| | 出身 | Meta AI Research | Google Brain | | 开源年份 | 2016 | 2015 | | 计算图风格 | 动态图（Dynamic Graph） | 静态图（Static Graph）起步 → TF 2.0 也支持动态 | | 主要使用者 | 学术界、研究者 | 工业界、部署工程师 | | 上手难度 | 像写普通 Python | 需要理解"图"的抽象 | | 调试体验 | 丝滑，pdb 直接用 | 早期较难，TF 2.0 大幅改善 | | 部署生态 | TorchServe、TorchScript | TensorFlow Serving、TFLite、TF.js |

但请注意，这个表格描述的是 2020 年前后的格局。今天（2024-2026 年）的 TensorFlow 2.x 与 PyTorch 2.x，差距已经没有当年那么大了。TensorFlow 早已支持"立即执行（Eager Execution）"，PyTorch 也早已支持"图编译（torch.compile）"。它们在向彼此学习。

这就是为什么本书的标题是"框架之战"，而不是"PyTorch 必胜"或者"TensorFlow 王者归来"。战争早已不是零和博弈，而是一场相互借鉴、共同推动 AI 前进的竞速。

一个让你瞬间理解差异的类比

如果你熟悉 Excel，可以这样想：

**PyTorch 像 Excel 的普通模式**：你点一个单元格，输入 `=A1+B1`，结果立刻显示。错了随时改，改完立刻看到新结果。这种"即时反馈"的体验，让人最舒服。
**早期的 TensorFlow 像 Excel 的 VBA 宏**：你得先写一段脚本，告诉 Excel "先取 A1、再取 B1、相加、把结果放到 C1"，然后再"运行"。如果你在 C1 想看结果，必须先运行整个宏。一旦宏写错，调试起来很痛苦。但宏的好处是，一旦写好，可以批量处理上万行数据而不卡顿。

TensorFlow 2.0 推出后，"默认 VBA 模式"被改成了"默认普通模式 + 可选宏模式"。这就是 Eager Execution 的意义。

---

二、框架的本质：把数学公式翻译成可执行的代码

在介绍两位主角的"身世"之前，我们必须先弄清楚一件事：深度学习框架到底是什么？为什么我们需要它？

2.1 一个让你吃惊的事实

深度学习的核心数学，其实并不复杂。一个最基础的神经网络（Neural Network）所做的，不过是反复做两件事：

1. 线性变换：$y = Wx + b$（矩阵乘法 + 偏置） 2. 非线性激活：比如 $\sigma(y) = \frac{1}{1+e^{-y}}$（让网络能拟合复杂函数）

把这两步堆叠几十层、上百层，就是"深度"学习的"深度"。一个能识别猫狗的图像分类模型，本质上就是一个超大的复合函数：

$$f(x) = \sigma(W_n \cdots \sigma(W_2 \sigma(W_1 x + b_1) + b_2) \cdots + b_n)$$

训练这个函数的过程，是用"反向传播（Backpropagation）"算法，沿着"链式法则（Chain Rule）"把误差信号从输出层传回输入层，更新每一层的参数 $W$ 和 $b$。

听起来很简单对吧？

但请想象一下：如果你要手动实现这一切，会发生什么？

你得手动写矩阵乘法，而且要写得**比 numpy 还快**——因为深度学习的核心计算是矩阵乘法，必须用 GPU 加速。
你得手动实现"链式法则"的求导——对一个几十层的网络，手动求导不仅繁琐，而且**几乎一定会算错**。
你得手动管理 GPU 显存、自动并行、模型保存与加载……

这些繁重的工程工作，正是深度学习框架要帮你解决的问题。

> 一句话定义：深度学习框架（Deep Learning Framework）是一个把"神经网络数学公式"自动翻译成"可在 GPU 上高效执行代码"的中间层软件。

它替你做了四件事：

1. 张量计算（Tensor Computation）：提供类似 numpy 但能跑在 GPU 上的多维数组。 2. 自动微分（Automatic Differentiation）：你只需要定义"前向计算"，它自动帮你算梯度。PyTorch 的 `autograd` 和 TensorFlow 的 `GradientTape` 都做这件事。 3. 神经网络模块（Neural Network Modules）：把"全连接层、卷积层、LSTM"这些常见组件封装好，你只需要 `model = nn.Sequential(...)`。 4. 优化器与训练循环（Optimizers & Training Loop）：SGD、Adam、学习率调度，框架都打包好了。

没有框架，写深度学习就像在没有电力的时代造计算机——理论上可行，实际上寸步难行。

2.2 一个全景图：深度学习项目的完整流水线

为了让读者对"框架在整个 AI 项目中扮演什么角色"有直观认识，我们用一张图来展示一个深度学习项目从数据到部署的完整流程（pipeline）。

```mermaid flowchart TD A[数据采集 Data Collection] --> B[数据清洗与标注 Data Cleaning & Labeling] B --> C[数据加载与预处理 Data Loading & Preprocessing] C --> D[模型设计 Model Design] D --> E[训练循环 Training Loop] E --> F{评估与调优 Evaluation & Tuning} F -->|不达标| D F -->|达标| G[模型导出 Model Export] G --> H1[服务器部署 Server Deployment] G --> H2[移动端部署 Mobile Deployment] G --> H3[浏览器/边缘设备 Browser / Edge] H1 --> I[推理服务 Inference Serving] H2 --> I H3 --> I

这张图看似复杂，其实只说明了一件事：一个完整的 AI 项目有七八个环节，框架要覆盖每一个环节。两个框架都有对应的组件，但实现的细节、生态的侧重各有不同。PyTorch 在科研阶段更顺手，TensorFlow 在部署阶段（尤其是移动端、嵌入式）的工具链更完善。但这种差异正在快速缩小。

2.3 自动微分：框架最核心的"魔法"

既然前面提到了"自动微分"，我们展开讲讲，因为这是理解两个框架差异的关键。

假设你写了一个简单的函数：

$$f(x, y) = x^2 + 3xy$$

手算它的偏导：

$$\frac{\partial f}{\partial x} = 2x + 3y, \quad \frac{\partial f}{\partial y} = 3x$$

对人类来说这是初中题。但如果是这样一个函数呢：

$$f(x) = \sin(\log(\sqrt{1 + x^2}) + e^{x^3})$$

手算偏导？大学生也得算五分钟，还容易错。

自动微分就是让计算机替你算。原理分两种：

1. 前向模式（Forward-mode Autodiff）：从输入往输出算导数。适合"输入少、输出多"的场景。 2. 反向模式（Reverse-mode Autodiff）：从输出往输入算导数。适合"输入多、输出少"的场景——这正是神经网络训练的场景（百万个参数，一个 loss 值）。

PyTorch 和 TensorFlow 都使用反向模式自动微分。PyTorch 称之为 `torch.autograd`，TensorFlow 称之为 `tf.GradientTape`。两者数学原理相同，但API 风格不同：

**PyTorch** 在每次张量运算时，悄悄构建一张"动态计算图"，调用 `loss.backward()` 时沿图反向传播。
**TensorFlow** 在 Eager 模式下用 `with tf.GradientTape() as tape` 录制运算，然后 `tape.gradient(loss, vars)` 算出梯度。

对入门者来说，PyTorch 的设计更"自然"，因为它把计算图隐藏在背后；TensorFlow 的设计更"显式"，因为它要求你显式地"录制"求导过程。这背后反映的是两种哲学：PyTorch 倾向于"少即是多"，TensorFlow 倾向于"显式即控制"。

---

三、两座高山的成长史：从学术宠儿到工业霸主

理解了框架的本质，我们来看两位主角的身世。理解历史不是为了背年份，而是为了理解为什么今天是这样的格局。

3.1 前传：所有框架的祖先——Theano

在 PyTorch 和 TensorFlow 之前，深度学习框架的"祖师爷"是 Theano，由蒙特利尔大学（Université de Montréal）的 Yoshua Bengio 团队在 2007 年开发。Bengio 是 2018 年图灵奖得主之一（与 Yann LeCun、Geoffrey Hinton 并列），他也是吴恩达（Andrew Ng）的同门师兄。

Theano 是第一个把"符号计算（symbolic computation）"和"自动微分"结合起来的 Python 库。它不直接面向深度学习，而是面向更广泛的数学计算。但很多研究者用 Theano 搭神经网络，于是它成为深度学习框架的鼻祖。

2017 年，Theano 宣布停止维护。它的使命完成了——后人站在它的肩膀上。

3.2 TensorFlow 的崛起：Google 的工业霸权

2015 年 11 月，Google 在 GitHub 上开源了 TensorFlow。这个名字一语双关："Tensor"（张量）是数据的载体，"Flow"（流）暗示数据在计算图中流动。

TensorFlow 的设计目标非常明确：服务于 Google 自身的工业级需求。彼时 Google 已经在搜索、翻译、图像识别等业务里广泛使用深度学习，需要一个能跨 CPU/GPU/手机/TPU（Google 自研的 AI 芯片）部署的系统。TensorFlow 的"静态计算图 + 跨平台部署"特性，正好契合这一需求。

2015-2018 年，是 TensorFlow 的"黄金时代"。它迅速成为工业界部署深度学习模型的事实标准。原因有三：

1. Google 背书：大厂信任大厂，创业公司也愿意用，因为 TensorFlow 背后有持续投入。 2. 生态完整：从数据流水线（tf.data）到训练（Keras）、到部署（TF Serving、TFLite、TF.js）、到可视化（TensorBoard），一应俱全。 3. 生产就绪（Production-Ready）：静态图能预先优化，部署到服务器、手机、浏览器都很顺畅。

但学术界对 TensorFlow 并不满意。研究者最在乎的是"实验速度"——新想法能不能立刻试，错能不能立刻改。TensorFlow 1.x 的"先构图、后执行"模式，让研究者写一行代码要等几秒到几十秒才能看到结果。这就催生了 PyTorch。

3.3 PyTorch 的逆袭：研究者的宠儿

2016 年 9 月，Facebook 人工智能研究院（FAIR）的 Adam Paszke 等人在 GitHub 上发布了 PyTorch 的早期版本。它的前身是 Torch（一个基于 Lua 语言的深度学习库），但 PyTorch 用 Python 重写了核心，并加入了对动态计算图的原生支持。

PyTorch 的设计哲学可以浓缩成一句话："Python 第一"。它在底层使用 C++/CUDA 做高性能计算，但在上层完全暴露 Python 接口。这意味着：

你可以像写普通 Python 一样写神经网络——用 `if` 写条件分支、用 `for` 写循环、用 `print` 调试变量。
你可以用 PyCharm/VSCode 的 debugger 一步步执行，查看每个张量的值。
错误信息直接是 Python 风格的，不需要翻译。

这种"原生 Python 体验"正中研究者的下怀。从 2017 年开始，顶级 AI 学术会议（NeurIPS、ICML、CVPR）上用 PyTorch 写的论文比例从 10% 一路飙升到 2020 年的 80% 以上。

关键转折点出现在 2018-2019 年：

2018 年底，PyTorch 1.0 发布，引入 **TorchScript**，开始支持把动态图"编译"成静态图，以便部署。
2019 年，TensorFlow 2.0 发布，**默认开启 Eager Execution**（动态执行），并把 Keras 作为高层 API。TensorFlow 在向 PyTorch 学习。

到 2020 年前后，两个框架的"使用体验"差距大幅缩小。研究者继续偏爱 PyTorch（因为生态先入为主），但 TensorFlow 2.x 的易用性已经大幅改善。

3.4 当下格局：2024-2026 年的真实世界

截至本书撰写的 2024 年，真实格局是这样的：

**学术界**：PyTorch 占据绝对主导，几乎所有 SOTA（State-of-the-Art）模型（GPT、LLaMA、Stable Diffusion）的官方实现都是 PyTorch 写的。
**工业界（特别是大公司）**：TensorFlow 仍有许多遗留系统（legacy system），但新建项目越来越倾向 PyTorch 或 JAX（Google 新推出的另一个框架，本书第 14 章会专门讲）。
**移动端 / 嵌入式**：TensorFlow Lite 仍是主流，但 PyTorch Mobile 正在追赶。
**教学领域**：PyTorch 几乎成了事实标准，因为它对新手更友好。
**中文社区**：PyTorch 的中文教程、答疑社群比 TensorFlow 多得多（这部分原因是 PyTorch 上手更易，受众多）。

3.5 时间轴一览

为了把这段时间脉络理清楚，我们用一张时间轴来呈现：

``` 2007 ─── Theano（蒙特利尔大学）─── 深度学习框架的鼻祖 │ 2014 ─── Caffe（贾扬清，加州伯克利）─── 早期图像识别框架 │ 2015.11 ─── TensorFlow 0.1（Google）─── 工业级首选 │ 2016.09 ─── PyTorch 0.1（Facebook/Meta）─── 学术研究