AI计算范式的演进与硅基竞赛的诞生 / The Evolution of AI Compute and the Silicon Race

第 1 章：AI计算范式的演进与硅基竞赛的诞生

Chapter 1: The Evolution of AI Compute and the Silicon Race

> 核心问题 / Core Questions > 为什么通用CPU无法满足深度学习的算力需求？GPU、TPU、NPU/ASIC三条技术路线的根本分歧在哪里？这种分歧是工艺问题、生态问题，还是对"并行"这一概念的根本不同理解？ > *Why cannot general-purpose CPUs meet the compute demands of deep learning? Wherein lies the fundamental divergence between the GPU, TPU, and NPU/ASIC paths? Is this divergence a matter of process technology, ecosystem, or a fundamentally different understanding of the concept of "parallelism"?*

---

2024 年 11 月，一台搭载 72 颗 NVIDIA Blackwell B200 GPU 的整机柜（NVL72 rack-scale system）开始向超大规模客户交付。其单机柜 FP4 算力达到 1.4 ExaFLOPS，互联带宽 130 TB/s，单台售价逼近 300 万美元。与此同时，Google 内部代号为 TPU v5p（"Pathways"）的第六代张量处理单元已经为 Gemini 1.5 Pro 提供训练算力支撑；而在中国深圳，华为 Ascend 910C 在国产 7nm 工艺线上以每月数万颗的产能爬坡。三条完全不同的技术路线，三个完全不同的商业逻辑，三个完全不同的物理实现，却共同指向同一个数学内核——大规模矩阵乘法与张量收缩。这种殊途同归并非偶然，而是被一段长达 12 年的算力增长曲线、一个被打破的"算力墙"（compute wall）、以及三种对"并行"的不同诠释所共同塑造。本章将沿着这条主线展开：从 2012 年 AlexNet 在两块 GTX 580 上跑出震惊业界的 8 层卷积神经网络那一刻讲起，直到 2024 年三家公司分别祭出万亿级晶体管芯片的当下。

```mermaid flowchart LR subgraph COMPUTE["🔥 训练算力需求 (FLOPs, log scale)"] C1["2012 AlexNet<br/>1.4 GFlops"] C2["2016 AlphaGo Zero<br/>~10 PFlops"] C3["2018 BERT-Large<br/>~4.3 TFlops"] C4["2020 GPT-3 175B<br/>~3.14e23 Flops"] C5["2022 PaLM 540B<br/>~2.5e24 Flops"] C6["2023 GPT-4 (估)<br/>~2e25 Flops"] end

subgraph GPU["🟢 NVIDIA GPU 演进"] G1["2012 GTX 580<br/>1.5 TF"] G2["2016 P100<br/>21 TF"] G3["2017 V100<br/>125 TF"] G4["2020 A100<br/>624 TF"] G5["2022 H100<br/>1979 TF"] G6["2024 B200<br/>4500 TF"] end

subgraph TPU["🔵 Google TPU 演进"] T1["2016 TPU v1<br/>23 TOPS INT8"] T2["2018 TPU v2<br/>180 TF"] T3["2019 TPU v3<br/>420 TF"] T4["2021 TPU v4<br/>1100 TF"] T5["2023 TPU v5p<br/>4590 TF"] end

subgraph NPU["🟡 Huawei Ascend NPU 演进"] N1["2018 Ascend 310<br/>22 TOPS"] N2["2019 Ascend 910<br/>256 TF"] N3["2023 Ascend 910B<br/>376 TF"] N4["2024 Ascend 910C<br/>~780 TF"] end

C1 --- G1 C2 --- T1 C3 --- G3 C4 --- G4 C5 --- G5 C6 --- G6 C3 --- N1 C4 --- N2 C6 --- N4 ```

> 图 1-1 / Figure 1-1：2012–2024 年 AI 训练算力需求与三大主流硅基路线的并行时间线。绿色为 NVIDIA GPU 路线，蓝色为 Google TPU 路线，黄色为 Huawei Ascend NPU 路线。读者可观察到训练算力需求在大约 10 年间增长了约 8 个数量级（约 3×10⁵–10⁶ 倍），而 GPU 峰值算力增长了约 3000 倍，TPU 增长约 200 倍——需求曲线始终陡峭于供给曲线，这正是后续章节将反复讨论的"算力墙"问题的核心证据。*A parallel timeline of AI training compute demand and three mainstream silicon roadmaps from 2012 to 2024. Green: NVIDIA GPU; Blue: Google TPU; Yellow: Huawei Ascend NPU. Observe that training compute demand grew ~8 orders of magnitude in 10 years while GPU peak performance grew ~3000× and TPU ~200×—demand consistently outpaces supply.*

---

1.1 算力墙：从"够用就好"到"被指数曲线碾压"的十年

1.1.1 一个常被遗忘的事实：CPU 也能跑神经网络

在讨论 GPU、TPU、NPU 三分天下之前，必须先纠正一个被广泛误解的事实：神经网络并非天生就需要专用芯片。在 1998 年 LeNet-5 识别 MNIST 手写数字时，Yann LeCun 团队使用的就是一台 CPU 工作站；2011 年 DanNet 在 ImageNet 上取得 25.8% top-5 错误率时，硬件也不过是 62 核的 x86 服务器。真正的转折点不是深度学习本身，而是 2012 年 AlexNet 之后模型规模、训练数据规模与算力消耗三者同时跨过临界点，形成不可调和的矛盾。

让我们用一个具体数字来理解这一跃迁。AlexNet 包含 5 层卷积、3 层全连接，总参数量约 6 千万，训练集 ImageNet ILSVRC-2012 包含 120 万张图片。Hinton 团队使用两块 GTX 580（每块 1.5 TFLOPS FP32）在 ImageNet 上训练约 5–6 天，消耗算力约 $1.4 \times 10^9$ FLOPs（按一次完整训练 90 个 epoch 估算）。这在当时已经是惊人的数字——它相当于 2011 年同期 CPU 工作站需要 6 个月的训练时间。

然而仅仅两年后，VGG-16（2014）的训练算力达到 $1.5 \times 10^{10}$ FLOPs（10×），Inception-v3（2015）达到 $1.1 \times 10^{11}$ FLOPs（80×），到 2016 年的 ResNet-152 已经逼近 $2.3 \times 10^{11}$ FLOPs（160×）。训练算力的增长曲线在大约 18 个月内稳定遵循"翻 4 倍"的经验规律（类似摩尔定律的平方版本），这便是后来被命名为 AI Compute Scaling Law 的早期经验。

1.1.2 Dennard 缩放失效与内存墙的双重绞杀

为什么通用 CPU 在这个曲线面前毫无还手之力？这需要回到半导体物理与计算机体系结构的双重约束。

第一重约束：摩尔定律的"性能"版本已经失效。 Intel 联合创始人 Gordon Moore 在 1965 年提出的摩尔定律描述的是晶体管密度每 18–24 个月翻倍，而非性能翻倍。性能的真正来源是 Dennard 缩放（Robert Dennard, 1974）——当晶体管尺寸缩小、电源电压按比例下降时，每个晶体管的功耗密度保持不变。这意味着每个晶体管的开关功耗随着尺寸缩小而等比例降低，从而允许时钟频率持续上升。从 1980 年代到 2000 年代，CPU 主频从 5 MHz 一路飙升至 3.8 GHz（2004 年 Intel Prescott），平均每 5 年翻 4 倍。但 Dennard 缩放在 2005–2007 年左右正式失效：栅极漏电流随尺寸缩小而指数上升，无法继续降低电压。从那以后，"每 18 个月性能翻倍"的故事便不复存在。 CPU 主频在 2004 年后几乎停滞，今天消费级 Intel Core i9 的频率仍在 5–6 GHz 区间，与 20 年前没有数量级差异。

第二重约束：内存墙（Memory Wall）。 即使 CPU 主频能够继续上升，访存延迟也无法跟上计算速度。1989 年 Wulf 与 McKee 提出的 memory wall 模型指出：当处理器速度每年提升 50% 时，DRAM 访问延迟每年仅改善 7%。到 2010 年前后，一次 L3 cache miss 的代价已经高达 200+ 个时钟周期。这意味着即使 CPU 把所有算力集中在矩阵乘法上，每次访问权重矩阵都要等待几百个时钟周期，计算单元严重空转。

$$\text{Roofline Performance Bound} = \min\left(\pi, \beta \times I\right)$$

其中 $\pi$ 是峰值计算吞吐量（FLOPs/s），$\beta$ 是内存带宽（bytes/s），$I$ 是算术强度（FLOPs/byte）。对于 2010 年的服务器级 CPU（双路 Xeon X5690，约 200 GFLOPS FP32、50 GB/s 内存带宽），一次矩阵-向量乘法的算术强度通常在 10–50 FLOPs/byte 区间，代入上述公式即可得到实际性能仅能达到峰值的 10–25%。这就是为什么 CPU 在神经网络训练上注定无法追上 GPU：GPU 不仅拥有 10× 以上的峰值算力，还通过 HBM 高带宽内存将 $\beta$ 提升至 600–3000 GB/s。

1.1.3 AlexNet 之后的指数曲线：300,000 倍算力增长

为了量化这场"算力墙"的形成过程，我们整理了一份关键模型的训练算力表（数据综合自 OpenAI AI Compute Census、EpochAI、原始论文）：

| 模型 | 年份 | 训练算力 (FLOPs) | 相对 AlexNet | 来源 / Notes | |------|------|-------------------|---------------|--------------| | AlexNet | 2012 | ~$1.4 \times 10^{9}$ | 1× | Krizhevsky et al. | | VGG-16 | 2014 | ~$1.5 \times 10^{10}$ | 11× | Simonyan & Zisserman | | ResNet-152 | 2015 | ~$1.1 \times 10^{11}$ | 79× | He et al. | | AlphaGo Zero | 2017 | ~$5.0 \times 10^{14}$ | 3.6×10⁵× | Silver et al. | | GPT-2 | 2019 | ~$5.0 \times 10^{16}$ | 3.6×10⁷× | Radford et al. | | T5-11B | 2019 | ~$1.2 \times 10^{20}$ | 8.6×10¹⁰× | Raffel et al. | | GPT-3 175B | 2020 | ~$3.14 \times 10^{23}$ | 2.2×10¹⁴× | Brown et al. | | PaLM 540B | 2022 | ~$2.5 \times 10^{24}$ | 1.8×10¹⁵× | Chowdhery et al. | | GPT-4 (估) | 2023 | ~$2 \times 10^{25}$ | 1.4×10¹⁶× | OpenAI 未官方确认 | | Gemini Ultra | 2024 | ~$5 \times 10^{25}$ | 3.5×10¹⁶× | Google DeepMind |

注意一个细节：从 AlexNet 到 GPT-4 的"训练算力"增长达到约 $3.5 \times 10^{16}$ 倍（3.5 亿亿倍），而不是很多文章误传的"30 万倍"。30 万倍这个数字实际上是 GPU 单卡峰值算力增长与 模型规模增长的乘积近似值，而训练算力真实增长远高于此。如果我们只看单卡 FP16 算力：GTX 580（1.5 TFLOPS）到 H100 SXM（1979 TFLOPS FP16 Tensor Core）增长约 1300 倍；如果考虑 H100 的 FP8 算力则达到 3958 TFLOPS，约 2640 倍。再叠加模型规模、数据集规模、训练轮数的综合放大效应，整条曲线的斜率远比任何单一硬件指标更陡。

这种陡峭程度直接决定了行业走向。 当需求曲线以每 18–24 个月 8–10 倍的速度上升，而硬件峰值算力以每 18–24 个月 2–3 倍的速度上升（受制于工艺、功耗、内存带宽），缺口必然出现。这个缺口正是 GPU、TPU、NPU 三条技术路线试图用不同方式填补的对象——也是"硅基竞赛"的真正起点。

---

1.2 三条技术路线的工程经济学：从"通用并行"到"数据流专用"再到"全栈闭环"

1.2.1 NVIDIA 路线：通用并行处理器的"渐进式进化"

NVIDIA 的故事并非从 AI 开始。它的核心基因来自 1999 年的 GeForce 256——第一款被冠以"GPU"（Graphics Processing Unit）之名、专门处理 3D 图形几何变换与光栅化的硬件。其架构选择——SIMT（Single Instruction Multiple Threads）执行模型——决定了它的全部后续走向。

SIMT 与传统的 SIMD（Single Instruction Multiple Data）的关键区别在于：每个线程拥有独立的寄存器状态与控制流能力，而硬件层仍然是 32 个线程（warp）同步执行同一条指令。这意味着程序员可以用看似普通的线程/标量代码表达高度并行的数据操作，而编译器 + 硬件共同管理"哪些线程在做什么"。这一抽象的优雅性，是 CUDA 生态能够繁荣的根本原因——它把"GPU"从一个固定功能的图形加速器变成了"可以编程的并行处理器"。

但 GPU 真正进入 AI 战场，并非一蹴而就。2006 年 CUDA 首次发布时，深度学习还未流行；2008 年斯坦福的 Rajat Raina 等人发表 *"Large-scale Deep Unsupervised Learning using Graphics Processors"*，才首次在学术界明确论证 GPU 对深度学习的价值。2012 年 AlexNet 的训练之所以能在合理时间内完成，关键不是 GPU 算力本身（GTX 580 的 FP32 算力仅 1.5 TFLOPS），而是 GPU 的内存子系统（384-bit GDDR5、192 GB/s 带宽）刚好能满足 ImageNet 32×32 patch 的访存模式。

NVIDIA 此后的 12 年演进可以归结为三个层次的协同进化：

第一层：通用算力持续倍增。 通过制程工艺从 40 nm（GF100/Fermi）→ 28 nm（GK110/Kepler）→ 16 nm（GP100/Pascal）→ 12 nm（GV100/Volta）→ 7 nm（GA100/Ampere）→ 5 nm（GH100/Hopper）→ 4 nm（GB200/Blackwell）的演进，FP32 算力从 2012 年的 1.5 TFLOPS 单卡提升到 2022 年的 67 TFLOPS 单卡（A100），再到 2024 年 Blackwell B200 的 ~90 TFLOPS 密集 FP32。

第二层：专用矩阵单元的引入。 2017 年 V100（Volta 架构）首次引入 Tensor Core，专门执行 $4 \times 4 \times 4$ 矩阵乘法（FP16 输入、FP32 累加）。这一变革标志着 NVIDIA 从"通用并行"开始向"领域专用"渗透——但与 TPU 不同的是，Tensor Core 只是 CUDA 指令集的一个扩展，并不会改变 GPU 的整体编程模型。Ampere（A100）扩展到支持 TF32、BF16、INT8、INT4；Hopper（H100）新增 FP8 Transformer Engine；Blackwell（B200）新增 FP4 + 第二代 Transformer Engine + 块稀疏加速。每一代 Tensor Core 的吞吐都保持约 2× 的代际提升。

第三层：互联拓扑的革命。 NVLink 从 Pascal 时代的 160 GB/s（P100）升级到 Hopper 时代的 900 GB/s（H100 18-link），再到 Blackwell 时代的 1800 GB/s（GB200 NVLink-72）。这是 GPU 路线能保持统治力的根本——单卡算力的差距可以通过互连密度来弥补。DGX SuperPOD 通过 NVLink + InfiniBand