算力觉醒：AI时代的新基建

算力觉醒：AI时代的新基建

当算力成为时代的关键词

2016年3月，韩国棋手李世石与AlphaGo的那场对弈，标志着人工智能（Artificial Intelligence, AI）正式进入了普通大众的视野。这场被誉为“世纪对决”的比赛，最终以1比4的比分落幕，人类输给了自己创造的程序。然而，比胜负更具深远意义的是人们开始意识到：机器不仅能够执行预设的指令，还能够通过学习和思考来做出决策。这场胜利的背后，是数以万计的GPU（Graphics Processing Unit，图形处理器）在数据中心里夜以继日地运转，消耗着惊人的电力，支撑着深度神经网络（Deep Neural Network, DNN）模型的训练与推理。

五年后的2021年，OpenAI发布的GPT-3模型再次刷新了人们对AI能力的认知。这个拥有1750亿参数的巨型语言模型，能够撰写文章、编写代码、进行对话，甚至可以创作诗歌和音乐。支撑这个模型运行的，是一个由数万个高性能AI芯片组成的计算集群，其训练成本据估计高达数百万美元。这种对算力的惊人需求，让我们不得不重新审视一个根本性的问题：在AI时代，究竟什么是决定技术发展的关键因素？

答案似乎已经越来越清晰：算力，即计算能力，正在成为数字时代的核心生产力，如同工业时代的电力一样，成为支撑社会运转的基础设施。没有充足的算力，自动驾驶汽车就无法在毫秒级别内做出决策；没有强大的计算支撑，气候模拟和药物研发等科学计算就无法在合理的时间内完成；没有高性能的AI芯片支撑，聊天机器人就无法理解用户的意图并给出恰当的回应。算力，这个曾经只是技术参数列表中一个冰冷数字的名词，如今已经走到了时代的聚光灯下，成为大国博弈、企业竞争的核心战场。

本书将带领读者深入探索这场围绕AI芯片展开的算力博弈。我们将追溯算力需求爆发式增长的根源，分析传统计算架构面临的困境，剖析专用AI芯片崛起的内在逻辑，并展望这场技术革命对未来产业格局和地缘政治的深远影响。作为开篇，本章将从宏观视角审视AI芯片崛起的时代背景，回答一个最根本的问题：为什么算力在AI时代变得如此重要？通用CPU真的不够用了吗？让我们从深度学习的计算特性说起。

深度学习：一场算力驱动的革命

从专家系统到深度学习的范式转变

要理解为什么AI时代对算力有如此强烈的需求，我们需要回顾人工智能发展的历史脉络。自1956年达特茅斯会议正式提出“人工智能”这一术语以来，AI经历了多次高潮与低谷。在深度学习出现之前，主流的AI方法被称为“专家系统”（Expert Systems）或“符号主义AI”（Symbolic AI）。这种方法的核心思想是：将人类专家的知识整理成规则，写入计算机程序，让机器按照这些规则进行推理和决策。

专家系统的典型代表是1970年代和1980年代的各种专家系统，如用于医疗诊断的MYCIN、用于矿物勘探的PROSPECTOR等。这些系统的工作方式很直观：人类专家提供“如果-那么”（If-Then）形式的规则，机器根据输入的事实匹配相应的规则，得出结论。以MYCIN为例，医生输入患者的症状和检验结果，系统根据预先编入的医学规则，判断患者是否感染了某种细菌，并推荐抗生素治疗方案。

专家系统的局限性是显而易见的。首先，知识的获取和表达是瓶颈。将某一领域的专业知识转化为精确的规则，本身就是一项极其耗时耗力的工作。更困难的是，许多人类专家的决策过程本身就是模糊的、经验性的，难以用明确的规则来描述。其次，规则之间可能存在冲突。当不同规则适用于同一情况时，如何权衡和取舍成为一个棘手的问题。第三，系统缺乏泛化能力。专家系统只能在它所学过的规则范围内工作，面对从未见过的情形时往往束手无策。

深度学习的出现彻底改变了这一局面。2006年，加拿大计算机科学家杰弗里·辛顿（Geoffrey Hinton）提出了深度置信网络（Deep Belief Network）的逐层预训练方法，标志着深度学习的复兴。2012年，辛顿团队使用深度卷积神经网络（Convolutional Neural Network, CNN）在ImageNet图像分类挑战赛中以压倒性优势夺冠，错误率仅为15.3%，而第二名传统方法高达26.2%。这一里程碑事件宣告了深度学习时代的正式来临。

深度学习与专家系统的本质区别在于：它不再依赖人类显式地编写规则，而是让机器从数据中自动学习特征和模式。用一个形象的比喻来说，专家系统像是让学生背诵一本规则手册，然后根据手册来解题；而深度学习则像是让学生做大量的练习题，通过题海战术自己总结出解题规律。这种“数据驱动”的方法，使得AI系统能够处理那些难以用规则描述的复杂任务，如图像识别、语音识别、自然语言理解等。

深度学习的计算特性：并行化与矩阵运算

深度学习之所以对算力有如此强烈的需求，根本原因在于其独特的计算特性。与传统的串行计算不同，深度学习的核心运算可以高度并行化，并且以矩阵运算为基础。理解这一点，对于理解为什么需要专用AI芯片至关重要。

让我们以一个典型的图像分类任务为例，来说明深度学习的计算过程。当我们用深度卷积神经网络对一张图片进行分类时，计算流程大致如下：首先，输入图像被表示为一个三维数组——高度、宽度和通道数（如RGB三个颜色通道）。然后，这个数组依次通过多个卷积层（Convolutional Layer）、池化层（Pooling Layer）和全连接层（Fully Connected Layer），最终输出各类别的概率。

以卷积层为例，其核心运算是卷积操作。假设输入特征图的尺寸为$H \times W \times C_{in}$，其中$H$是高度，$W$是宽度，$C_{in}$是输入通道数。卷积核（Filter）的尺寸通常为$K \times K \times C_{in} \times C_{out}$，其中$K$是卷积核的空间尺寸，$C_{out}$是输出通道数。对于输出特征图中的每一个像素，都需要用$K \times K \times C_{in}$个乘加运算来计算。这个过程可以用矩阵乘法来高效实现，这正是GPU等并行计算设备擅长的运算类型。

现代深度学习模型的规模已经达到了惊人的程度。以ResNet-50为例，这是一个经典的图像分类网络，包含约2500万个参数。在ImageNet数据集上训练这样一个模型，需要进行数十亿次浮点运算（Floating-point Operations, FLOPs）。而更大型的模型，如前文提到的GPT-3，包含1750亿个参数，训练所需的计算量据估计达到$3.14 \times 10^{23}$ FLOPs。这个数字是什么概念？假设使用一块顶级的NVIDIA A100 GPU（每秒可以进行约312万亿次浮点运算，即312 TFLOPS），也需要连续运行超过30年才能完成训练。

深度学习模型的训练对算力的需求，远超其推理阶段的需求。训练过程需要反复遍历整个数据集，通过反向传播算法（Backpropagation）不断调整网络参数，以最小化预测误差。这个过程涉及大量的矩阵运算、梯度计算和参数更新。以GPT-3的训练为例，据估算使用了约3640 PFLOPS-day（即每秒10^15次浮点运算的算力累积一整天）的总算力。这个数字意味着，如果使用一块A100 GPU，需要约10天；但如果使用1万块GPU并行计算，也需要约10天才能完成（实际上由于通信开销等因素，所需时间会更长）。

推理阶段虽然对单次计算的算力需求较小，但由于需要实时处理大量请求，总体算力需求同样不容忽视。一个部署在数据中心的推荐系统，可能需要每天处理数十亿次请求；一辆自动驾驶汽车，可能需要每秒处理数十帧图像并做出决策。这些场景都对推理芯片的吞吐量和能效提出了很高的要求。

算力即能力：从基准测试看AI的性能边界

在AI领域，有一个被广泛认可的观点：更大的模型往往意味着更强的能力。这一观察来自深度学习研究中的一个重要现象——Scaling Law（缩放定律）。2020年，OpenAI的研究人员在论文《Scaling Laws for Neural Language Models》中首次系统地研究了这一现象。他们发现，模型的性能（以困惑度Perplexity衡量）与模型参数数量、数据集规模和训练计算量之间存在幂律关系。具体来说：

$$L(N) \approx \left(\frac{N_0}{N}\right)^{\alpha_N}$$

其中$L$是测试集上的损失，$N$是模型参数数量，$N_0$和$\alpha_N$是常数。这意味着一旦确定了损失与参数数量的幂律关系，就可以通过增大模型规模来预测性地提升模型性能。

后续的研究进一步证实了这一规律不仅适用于语言模型，也适用于视觉模型、多模态模型等各种深度学习架构。Anthropic、Google DeepMind等机构的研究表明，更大的模型往往涌现出更强的泛化能力、更少的有害输出，以及更好的少样本学习能力。这意味着，如果我们想要构建更强大的AI系统，增大模型规模几乎是必然的选择——而增大模型规模，则意味着需要更多的算力来支撑训练和推理。

算力与AI能力之间的关系，也可以从基准测试的结果中看出端倪。在计算机视觉领域，ImageNet Top-1准确率从2012年的62.5%提升到2022年的90.9%，背后是模型层数从8层增加到超过2000层、参数量从数百万增加到数十亿的跨越式发展。在自然语言处理领域，GLUE基准测试的平均分数从2018年的60分左右提升到2023年的90分以上（超过人类基线），同样伴随着模型规模的指数级增长。

这些数据清晰地表明：在深度学习时代，算力已经成为决定AI能力上限的关键因素。没有足够的算力支撑，再精妙的算法设计也无法发挥其潜力；有了充足的算力，研究人员才能够在更大的数据集上训练更大的模型，探索前所未有的能力边界。算力，已经从幕后走到台前，成为AI发展不可或缺的核心驱动力。

里程碑背后：算力如何驱动AI突破

AlphaGo：算力让“不可能”变为“可能”

2016年3月，Google DeepMind开发的AlphaGo与韩国九段棋手李世石的对弈，成为人工智能发展史上的标志性事件。这场对弈之所以引发全球关注，不仅因为AI首次在被认为最能体现人类智慧的游戏——围棋上战胜了顶级人类选手，更因为AlphaGo展现出了一种与传统程序截然不同的“思维方式”。

围棋的复杂度远超国际象棋。据估计，围棋棋盘上可能的局面数量约为$10^{170}$，这个数字比宇宙中原子数量的估计值还要大得多。传统的博弈程序，如深蓝（Deep Blue）对付国际象棋的方式，是通过“暴力搜索”——评估所有可能的走法，选择最优的一步。然而，面对围棋这样庞大的搜索空间，暴力搜索是不现实的。

AlphaGo的核心创新在于将深度学习与蒙特卡洛树搜索（Monte Carlo Tree Search, MCTS）相结合。具体来说，它使用两个深度神经网络：策略网络（Policy Network）用于预测下一步的走法，大幅缩小搜索范围；价值网络（Value Network）用于评估局面的胜率，指导搜索方向。这两个网络都通过海量棋谱数据进行训练，学习人类顶级棋手的走棋模式。然后，通过强化学习（Reinforcement Learning）技术，让AlphaGo与自己对弈，不断提升棋艺。

支撑AlphaGo训练的，是一个由1920个CPU和280个GPU组成的计算集群。据DeepMind透露，AlphaGo的早期版本“AlphaGo Fan”使用了176个GPU。而随后击败世界冠军柯洁的AlphaGo Master，则使用了Google云平台上张量处理单元（TPU）的专门集群。这种对算力的巨大需求，使得AlphaGo成为一个标志性的案例，展示了深度学习如何将“不可能”变为“可能”——过去被认为需要数十年才能攻克的围棋，在算力的支撑下被AI所征服。

GPT系列：大模型时代的算力竞赛

如果说AlphaGo证明了深度学习在特定领域的强大能力，那么GPT系列模型的出现，则展示了深度学习迈向通用人工智能的可能路径。GPT（Generative Pre-trained Transformer）是由OpenAI开发的大型语言模型系列，其发展历程本身就是一部算力驱动能力提升的编年史。

2018年，GPT-1发布，拥有1.17亿个参数，主要用于自然语言处理任务。2019年，GPT-2发布，参数规模跃升至15亿，能够生成连贯且看似合理的文本，引发了对AI生成内容的广泛讨论。2020年，GPT-3横空出世，拥有惊人的1750亿参数，训练数据量达到45TB，成为当时最大的语言模型之一。GPT-3展示了Few-shot Learning的能力——用户只需提供几个示例，模型就能理解任务并执行，无需针对特定任务进行微调。

2023年，GPT-4发布，虽然OpenAI未公布具体的参数规模和技术细节，但可以确定的是，其能力较GPT-3有质的飞跃——在各种专业测试中达到人类平均水平以上，能够处理图像输入，幻觉问题显著减少，支持更长的上下文窗口。更重要的是，GPT-4证明了规模效应尚未触及天花板，更大的模型和更多的算力投入，仍能带来可观的性能提升。

GPT系列的演进轨迹，清晰地展示了算力与能力之间的正相关关系。从GPT-1到GPT-4，参数规模增长了数百倍，训练所需的算力更是呈指数级增长。据估计，GPT-3的训练成本高达数百万美元，主要用于支付GPU集群的运行费用和电费。GPT-4的训练成本据报道超过1亿美元。这种投入规模，使得大模型的训练成为只有少数拥有巨额资源的机构才能参与的游戏。

然而，这仅仅是开始。随着GPT等大语言模型（Large Language Model, LLM）的成功，AI领域掀起了“军备竞赛”，各科技巨头和科研机构纷纷投入巨资建设算力集群。2023年，Meta宣布采购35万块H100 GPU用于AI训练；Google计划在2024年投入超过200亿美元建设数据中心和AI基础设施；微软、亚马逊等也纷纷跟进。这场算力竞赛，正在深刻改变AI研发的格局和门槛。

自动驾驶：实时推理的算力挑战

如果说大语言模型的算力需求体现在“训练”阶段，那么自动驾驶对算力的需求则主要体现在“推理”阶段——而且是实时的、低延迟的推理，这对芯片设计和系统架构提出了独特的挑战。

自动驾驶系统需要实时感知周围环境、理解交通场景、预测其他道路参与者的行为，并做出安全的驾驶决策。这个过程涉及多个AI模型同时运行：摄像头和激光雷达输入需要通过目标检测模型识别车辆、行人、交通标志等；车道线检测模型需要确定可行驶区域；路径规划模型需要计算最优行驶轨迹；控制模型需要生成转向和加速指令。

以特斯拉的Autopilot系统为例。据报道，其车辆配备了定制设计的FSD（Full Self-Driving）芯片，每块芯片每秒可以执行约36.86万亿次操作（TOPS）。两枚芯片组成的系统提供冗余，总算力达到144 TOPS。这个算力主要用于运行多个深度学习模型，处理来自8个摄像头的高分辨率视频流，实现在100毫秒内完成从感知到决策的完整流程。

自动驾驶对算力的需求是持续增长的。一方面，更高级别的自动驾驶需要更复杂的感知和决策模型，处理更多的传感器输入，考虑更多的边缘场景；另一方面，安全冗余要求系统能够在硬件或软件故障时切换到备用方案，这进一步增加了算力需求。业界普遍认为，实现完全无人驾驶（L4/L5级别），可能需要1000 TOPS以上的算力支撑。

这种对实时推理算力的需求，与大语言模型的训练算力需求形成了不同的设计目标：训练侧追求绝对算力规模，推理侧追求高能效比和低延迟。这催生了不同类型的AI芯片架构——用于数据中心的训练芯片追求极致算力密度，用于边缘和终端的推理芯片则需要在有限的功耗预算下最大化吞吐量。自动驾驶，正是后者的典型应用场景。

科学计算：算力赋能人类认知边界

AI芯片的影响不仅限于互联网应用和商业产品，在科学计算领域，它也在深刻改变人类探索未知的方式。气候模拟、药物研发、材料设计、粒子物理……这些传统上依赖超级计算机的研究领域，正在借助AI算力实现突破。

以蛋白质结构预测为例，这是结构生物学领域的核心难题。2020年，DeepMind开发的AlphaFold2在两年一度的CASP（Critical Assessment of protein Structure Prediction）蛋白质结构预测竞赛中取得了突破性成绩，其预测精度首次与实验测定结果相当。2022年，DeepMind发布了AlphaFold蛋白质结构数据库，包含2亿多种蛋白质的结构信息，覆盖了地球上几乎所有已知蛋白质。这一成果对生命科学和医学研究的意义，怎么强调都不为过——它将原来需要数年才能完成的蛋白质结构解析工作，缩短到几分钟。

AlphaFold2的核心是一个基于注意力机制（Attention Mechanism）的深度神经网络。尽管其推理阶段可以在单块GPU上完成，但训练这样一个模型需要庞大的算力支撑。据DeepMind透露，AlphaFold2的训练使用了约16块TPUv3（相当于约128块GPU的算力），耗时数周。这种投入，使得AlphaFold2成为一个只有顶级研究机构才能实现的成就。

在药物研发领域，AI正在加速新药发现的进程。传统的药物研发是一个漫长而昂贵的过程，从靶点发现到临床试验，通常需要10-15年和数十亿美元的投入。AI通过预测蛋白质-药物相互作用、筛选数百万种化合物、预测药物副作用等方式，可以大幅缩短这一周期。Insilico Medicine、Relay Therapeutics等公司已经利用AI技术，在短短几年内发现了候选药物，部分已经进入临床试验阶段。

气候科学是另一个受益于AI算力的领域。气候模型需要模拟大气、海洋、陆地、冰盖等多个子系统的复杂相互作用，计算量极其庞大。传统的气候模拟受制于算力，空间分辨率有限，难以捕捉小尺度的极端天气事件。AI技术，特别是基于物理信息神经网络（Physics-Informed Neural Network, PINN）的方法，有望在保持物理一致性约束的同时，突破传统方法的计算瓶颈，实现更高分辨率、更长周期的气候模拟。

这些科学应用的共同特点是：它们将AI芯片的算力转化为解决人类面临根本性挑战的能力——从疾病治疗到气候变化，从基础科学认知到技术创新。算力，在这里不再仅仅是商业竞争的工具，更是推动人类文明进步的力量。

摩尔定律的困境：通用CPU的瓶颈

摩尔定律的辉煌与极限

要理解为什么AI时代需要专用芯片，我们需要回顾半导体行业半个多世纪以来的发展规律——摩尔定律。1965年，英特尔（Intel）联合创始人戈登·摩尔（Gordon Moore）在《电子学》杂志上发表了一篇论文，提出了一个后来成为半导体行业金科玉律的预测：**集成电路上可容纳的晶体管数量，每