AI芯片发展史：从通用计算到专用加速的演进逻辑

这种软硬件协同的生态壁垒，让NVIDIA在AI训练芯片市场长期保持超过80%的市占率，即便是后来者推出性能相当甚至略优的硬件，也很难在短期内撼动其地位。而AI芯片发展的第二个关键节点，正是来自Google对“专用化路线”的探索——2012年AlexNet引爆深度学习浪潮后，Google内部AI服务的算力需求每年增长10倍以上，仅靠采购GPU的成本就占到AI相关投入的60%，这直接推动了第一代TPU（Tensor Processing Unit）的诞生。

1.2 专用加速路线的崛起：从Google TPU看DSA架构的价值

2016年Google在ISC 2016大会上正式发布第一代TPU，这是全球第一款面向深度学习推理场景的专用加速器，其核心设计哲学与GPU的“通用并行”完全不同：针对AI计算的核心特征做定制化裁剪，去掉所有与AI计算无关的硬件模块，将芯片面积尽可能留给计算单元。这种设计理念后来被总结为“领域专用架构（DSA, Domain Specific Architecture）”，成为AI芯片发展的核心方向。

1.2.1 脉动阵列：TPU的核心架构创新

TPU最核心的创新是采用了脉动阵列（Systolic Array）架构，这是专门为矩阵/张量运算设计的计算结构。我们可以通过一个4×4矩阵乘法的例子，直观理解脉动阵列相比GPU SIMD架构的优势：

• GPU的SIMD架构执行矩阵乘法时，需要将输入矩阵的所有元素加载到寄存器或共享内存中，每个CUDA核心完成一个乘法-加法运算，总共需要16次独立的数据加载操作，数据搬运能耗占总能耗的60%以上；
• 而脉动阵列中，数据从阵列左上角流入，每个计算单元完成乘法后将结果传递给右侧单元，累加结果传递给下方单元，整个运算过程仅需要4次数据加载，数据搬运量减少75%，能耗仅为SIMD架构的1/5到1/3。

根据Google官方公布的测试数据，第一代TPU做Inference任务的能效比是同期NVIDIA K80 GPU的30-80倍，峰值算力达到92 TOPS（INT8），而功耗仅为40W，直接解决了Google搜索、翻译、图片识别等场景的算力成本问题。2017年AlphaGo Zero的训练进一步验证了TPU的性能：仅用64块TPU v3训练3天，就达到了此前用GPU训练数周才能达到的棋力水平，训练成本降低了70%。

此后TPU不断迭代，从仅支持Inference的第一代，发展到支持训练/推理全场景的TPU v2/v3/v4/v5e，算力从92 TOPS提升到v4的275 TOPS（INT8），能效比从2.3 TOPS/W提升到62 TOPS/W，目前已经支撑了Google超过90%的AI训练/推理任务，包括大语言模型PaLM、Imagen文本生成图像等前沿应用。Google甚至将TPU通过云服务对外输出，目前TPU实例已经占Google云AI算力的50%以上，成为其云服务差异化竞争的核心优势。

1.2.2 DSA架构 vs 通用架构：性能与成本的权衡

脉动阵列为代表的DSA架构，本质是对AI计算特征的极致适配：深度学习计算中90%以上的操作是矩阵乘法、卷积等张量运算，通用CPU/GPU中用于乱序执行、分支预测、缓存一致性等通用计算特性的硬件模块，在AI场景下完全属于冗余。DSA架构直接砍掉这些冗余模块，将70%-90%的芯片面积留给张量计算单元，从而在同等制程下实现10-100倍的能效提升。

但这种极致适配也带来了明显的局限性：通用性不足。比如第一代TPU仅支持Google自研的TensorFlow框架，仅能运行经过特定优化的AI模型，无法支持PyTorch等主流框架，也无法用于科学计算、图形渲染等其他场景。这种“性能换通用性”的 trade-off，正是AI芯片分化为不同技术路线的核心原因。

💡 电子版侧边栏：小知识——TOPS与TFLOPS的区别 AI芯片的算力单位通常分为两类：TOPS（Tera Operations Per Second，每秒万亿次整数运算）和TFLOPS（Tera Floating Point Operations Per Second，每秒万亿次浮点运算）。其中TOPS通常用于衡量推理芯片的INT8/INT4整数算力，TFLOPS用于衡量训练芯片的FP16/FP32浮点算力，二者不能直接横向对比。

1.3 三大主流厂商技术路线差异：生态、能效与自主可控的三条路径

AI芯片市场的竞争，本质是不同技术路线、不同商业逻辑的竞争。目前全球市场已经形成了三条清晰的主流技术路线，分别对应NVIDIA、Google、华为三家头部厂商，其核心差异可以从架构设计、生态体系、商业定位三个维度理解。

1.3.1 NVIDIA GPU路线：通用性优先的生态壁垒

NVIDIA的AI芯片路线可以概括为“通用硬件+开放生态”的路线：其核心产品从最初的游戏GPU，逐步迭代到支持CUDA的通用并行计算GPU，再到专门针对AI计算优化的Tensor Core GPU（如A100、H100），始终没有放弃通用性。

• 架构层面：NVIDIA的GPU采用SIMD（单指令多线程）架构，搭配可编程的流处理器（SM），既可以运行AI计算，也可以运行科学计算、图形渲染、视频编解码等各类任务，Tensor Core作为可选的加速单元，支持FP16/FP8/INT8等混合精度计算，算力利用率可达通用SM的10倍以上；
• 生态层面：CUDA生态是NVIDIA最核心的护城河，截至2024年，CUDA已经积累了超过1000万开发者，支持PyTorch、TensorFlow等所有主流AI框架，包含超过10000个优化算子，开发者学习CUDA的平均成本超过200小时，迁移到其他生态的意愿极低；
• 商业层面：NVIDIA采用“硬件+软件+服务”的一体化商业模式，不仅销售GPU芯片，还销售预集成了GPU的DGX AI服务器、AI Enterprise软件订阅服务（每块GPU年费约3000美元），以及Omniverse等工业级AI开发平台，2023年其数据中心业务营收同比增长170%，其中AI相关收入占比超过80%。

⚠️ 实战提示：NVIDIA路线的优势与局限 NVIDIA GPU的优势是全场景覆盖，从端侧推理到超大规模训练都可以支持，生态完善度极高，开发效率远高于其他路线；但局限也很明显：芯片采购成本高（H100单卡售价超过3万美元），且受美国出口管制限制，无法向国内部分客户供应，同时高功耗（H100单卡功耗700W）也推高了数据中心运营成本。

1.3.2 Google TPU路线：能效优先的自用导向

Google的TPU路线可以概括为“专用硬件+自研生态”的路线，其核心设计目标是支撑Google内部搜索、翻译、云服务等超大规模AI场景的算力需求，优先追求能效和性价比，而非通用性。

• 架构层面：TPU采用纯DSA架构，没有可编程的流处理器，所有计算单元都是针对张量运算定制的脉动阵列，支持INT8/INT16/FP32等有限精度的计算，无法运行通用代码；
• 生态层面：TPU仅支持Google自研的TensorFlow、JAX框架，以及MindSpore等少数适配过的框架，算子库完全围绕Google内部AI模型优化，对外开发者的支持远不如CUDA；
• 商业层面：Google从未对外销售TPU芯片，仅通过Google Cloud云服务对外提供TPU算力，其定价比同性能GPU低30%-50%，主要用来吸引云服务客户，支撑Google内部AI服务的成本比采购GPU低60%以上。

🔍 深度解析：TPU的能效优势从何而来？ 我们可以通过一组数据对比：Google TPU v4的FP16峰值算力为275 TFLOPS，功耗为200W，能效比为1.375 TFLOPS/W；而同期NVIDIA A100的FP16峰值算力为312 TFLOPS，功耗为400W，能效比为0.78 TFLOPS/W，TPU v4的能效比是A100的1.76倍。如果考虑实际场景的算力利用率，TPU在Google内部推荐、搜索等场景的利用率可达70%以上，而A100在相同场景的利用率仅为40%左右，实际能效差距会进一步扩大到3倍以上。

1.3.3 华为昇腾路线：自主可控的全栈协同

华为的昇腾路线是国内AI芯片的代表，其核心设计目标是实现AI算力的自主可控，同时覆盖端、边、云全场景的AI需求，路线可以概括为“DSA架构+全栈生态+全场景适配”。

• 架构层面：昇腾采用华为自研的达芬奇（DaVinci）DSA架构，核心是3D Cube张量计算单元，支持从INT4到FP32的全精度计算，既可以执行矩阵乘法、卷积等通用张量运算，也可以针对Transformer、MoE等大模型算子做硬件级优化，同时支持CPU、NPU、GPU的异构计算；
• 生态层面：华为搭建了从底层算子库（CANN）到上层框架（MindSpore）的全栈生态，CANN算子库目前已经支持超过3000个AI算子，覆盖CV、NLP、大模型等主流场景，MindSpore是华为自研的AI框架，与昇腾芯片的适配度远高于PyTorch、TensorFlow等第三方框架；
• 商业层面：昇腾芯片已经覆盖端侧（昇腾310，用于智能摄像头、IoT设备）、边缘侧（昇腾310P，用于工业质检、智能交通边缘盒子）、云侧（昇腾910B，用于大模型训练/推理）全场景，目前已经在国内政务、金融、工业、互联网等领域的超过10000家企业落地，2023年昇腾芯片的出货量同比增长超过200%。

| 对比维度 | NVIDIA GPU路线 | Google TPU路线 | 华为昇腾路线 | |----------|---------------|---------------|-------------| | 核心架构 | 可编程SIMD+张量核心 | 固定脉动阵列DSA | 可编程DSA达芬奇架构 | | 生态体系 | CUDA全栈开放生态 | TensorFlow自研生态 | CANN+MindSpore全栈生态 | | 通用性 | 全场景支持，支持所有主流框架 | 仅支持AI场景，仅适配自研框架 | 全场景支持，优先适配自研框架 | | 能效比 | 1-5 TOPS/W | 10-60 TOPS/W | 5-30 TOPS/W | | 成本 | 高（单卡H100超3万美元） | 低（自用成本仅为GPU的1/3） | 中（比同性能GPU低30%-50%） | | 供应稳定性 | 受出口管制限制 | 仅云服务供应，不对外销售 | 自主可控，供应稳定 |

除了上述三家头部厂商外，国内还有多家厂商走差异化技术路线：比如寒武纪的思元系列采用“指令集可配置”的DSA架构，支持动态算子加载，兼顾通用性和能效；地平线的征程系列针对自动驾驶场景优化，专门针对BEV感知、Transformer算子做硬件加速，已经搭载在超过100款车型上；壁仞科技的BR100采用芯粒（Chiplet）架构，FP8算力达到1024 TFLOPS，对标NVIDIA H100，但因出口管制限制未能量产。

1.4 AI芯片的分类体系：训练、推理与全场景覆盖

根据应用场景和功能定位，AI芯片可以分为训练芯片、推理芯片、端边云全场景芯片三大类，不同类别的芯片在架构设计、性能指标、成本结构上存在显著差异，理解这种分类是后续学习芯片架构设计的基础。

1.4.1 训练芯片：大模型时代的核心算力底座

训练芯片的核心目标是支撑深度学习模型的训练过程，即通过海量数据反向调整模型参数，对算力、内存带宽、多卡互联能力的要求最高。我们可以通过大模型训练的算力需求，直观理解训练芯片的技术要求：

• 参数量：以GPT-3为例，其参数量达到1750亿，仅存储模型参数就需要700GB以上的内存，而训练过程中产生的中间激活数据、梯度数据的存储需求是参数量的3-5倍，总内存需求超过3TB；
• 算力需求：GPT-3的训练总算力需求约为3.14×10²⁴ FLOPS（FP16），使用1000块NVIDIA A100（单卡FP16算力312 TFLOPS）训练需要30天；而GPT-4的参数量超过1万亿，训练算力需求达到10²⁶ FLOPS，需要超过25000