第一章:AI时代的算力战争
2016年3月15日,韩国首尔四季酒店,一场载入史册的人机对弈进入最终局。谷歌旗下DeepMind团队开发的AlphaGo以4:1的总比分击败了世界围棋冠军李世石九段。这一刻,全世界的目光都聚焦在这场看似普通的棋局上,却没有人意识到,他们正在见证人工智能发展史上的一个重要转折点。
围棋,这项拥有三千多年历史的古老博弈游戏,曾被视为人类智慧的最后堡垒。与国际象棋不同,围棋的棋盘上每一手的选择高达250种可能,而一盘棋的走法总数超过了宇宙中原子数量的总和。国际象棋大师加里·卡斯帕罗夫在1997年被IBM的深蓝击败时曾断言,机器永远无法在围棋上战胜人类顶尖高手。然而,仅仅十九年后,这个断言就被彻底颠覆了。
但鲜为人知的是,AlphaGo的胜利不仅仅是一个算法的成功,更是一场算力的胜利。在那场对局的背后,是数千台服务器和数百个GPU(图形处理器)夜以继日的运算支撑。DeepMind团队为了让AlphaGo达到击败职业棋手的水平,消耗了数百万美元的云计算资源,训练过程中使用的算力相当于一个人类棋手不停歇地下棋十万年所积累的经验。这个数字或许有些抽象,但它告诉我们一个重要的事实:在人工智能的世界里,算法固然重要,但如果没有强大的算力作为支撑,再精妙的算法也只能是空中楼阁。
这个发现,标志着人类正式迈入了一个全新的时代——算力时代。在这个时代里,计算能力不再仅仅是计算机科学家关心的技术指标,而是成为了决定国家竞争力、企业生存力乃至个人发展潜力的核心资源。从自动驾驶汽车到智能医疗诊断,从语音助手到药物研发,人工智能正在渗透到我们生活的方方面面。而支撑这一切的底层基础设施,正是那些看似冰冷的芯片和服务器。它们就像数字世界的大脑,夜以继日地进行着海量数据的处理和复杂模型的训练。
当我们回顾人工智能发展的历程,会发现一个清晰的脉络:从1956年达特茅斯会议上首次提出“人工智能”这一概念,到1980年代专家系统的兴起,再到1997年深蓝战胜卡斯帕罗夫、2016年AlphaGo战胜李世石,每一次重大突破的背后,都伴随着算力的跨越式提升。这种关系如此紧密,以至于一些研究者将其称为“人工智能的第一定律”——模型的性能提升与投入的算力之间存在着某种确定的数学关系。这一规律后来被OpenAI的研究者正式命名为"Scaling Law",意为“规模法则”。
要理解什么是规模法则,我们需要把时间拨回到2017年。那时,OpenAI的年轻研究员们正陷入深深的困惑。他们注意到一个奇怪的现象:无论他们如何调整算法、优化架构,训练一个大型语言模型所需的时间和资源都在快速增长,但模型能力的提升却并不总是成正比。就在他们几乎要放弃的时候,一位名叫Jared Kaplan的研究员提出了一个大胆的假设:如果把所有影响模型性能的因素都归结为一个核心变量——训练所用的计算量——会怎样?
Kaplan的团队收集了从2012年到2020年间公开发表的所有语言模型训练数据,包括参数规模、训练数据集大小、训练所需的浮点运算次数(FLOPs)以及模型在各种基准测试中的表现。当他们把这些数据绘制在图表上时,一个令人惊叹的规律浮现了出来:模型性能(以损失函数的下降来衡量)与计算量的对数之间存在着近乎完美的线性关系。这意味着,如果想把模型的性能提升一个等级,所需的计算量大约需要增加10倍;如果想把性能提升两个等级,计算量就需要增加100倍,以此类推。
这个发现的意义怎么强调都不为过。它告诉我们,训练人工智能模型不是一件可以投机取巧的事情。如果你想要一个更强大的AI,你就必须投入更多的算力。这就像建设一座更高的楼房:没有足够坚实的地基,再漂亮的设计也只能是海市蜃楼。从某种意义上说,算力就是人工智能的“地基”,它决定了整座建筑能够达到的高度。
规模法则的发现不仅解释了过去的现象,更指明了未来的方向。既然模型的性能可以通过增加计算量来提升,那么只要有足够的算力,理论上我们就可以训练出越来越强大的模型。这个逻辑直接催生了后来震惊世界的GPT系列模型。2020年,OpenAI发布了GPT-3,这个拥有1750亿参数的巨型模型在多项自然语言处理任务上展现出了惊人的能力,其背后的训练成本据估计高达数百万美元,使用了相当于数千台高性能服务器的算力。而到了2023年,更大规模的模型如GPT-4相继问世,训练所需的算力更是呈指数级增长。
然而,算力的获取从来都不是一件容易的事情。全球范围内,高端AI芯片的供应一直被少数几家科技巨头垄断。其中最为人所知的,就是来自美国硅谷的英伟达(NVIDIA)公司。这家最初以游戏显卡著称的公司,凭借其在并行计算架构方面的深厚积累,意外地成为了人工智能时代的“军火商”。英伟达的GPU(图形处理器)采用了特殊的并行计算架构,数千个小型计算核心可以同时处理海量数据,这种特性使其非常适合深度学习模型的训练需求。从某种意义上说,是英伟达的GPU架构恰好契合了神经网络计算的特点,才让它成为了AI时代最不可或缺的基础设施。
但算力的分布从来都不是均匀的。当科技公司和研究机构为争夺英伟达的GPU而绞尽脑汁时,各国政府也开始意识到算力作为战略资源的重要性。2022年10月,美国商务部工业与安全局(BIS)发布了针对中国的芯片出口管制措施,禁止向中国出口用于高性能计算和人工智能的先进芯片和相关设备。这一禁令的范围之广、力度之大,前所未有。受限的芯片不仅包括英伟达的A100和H100等高端GPU,还包括了任何性能达到一定阈值的集成电路产品。
美国政府的这一决定,在全球科技圈引发了强烈震动。对于中国的人工智能产业而言,这无疑是一次严峻的考验。长期以来,中国在AI领域的发展很大程度上依赖于进口的高端芯片。从科研机构到互联网公司,从自动驾驶企业到医疗AI创业公司,无数应用场景的背后都有美国芯片的身影。出口管制措施的出台,意味着这些企业必须寻找替代方案,否则就可能面临“无芯可用”的困境。
然而,危机往往孕育着机遇。美国的芯片禁令在给中国AI产业带来挑战的同时,也倒逼了国产芯片的加速发展。华为海思、寒武纪、壁仞科技等一批中国芯片企业开始在资本的加持下快速崛起。其中最引人注目的,当属华为的昇腾系列芯片。2019年,华为发布了昇腾910芯片,这是一款专门为人工智能场景设计的ASIC(专用集成电路)芯片,其算力在当时达到了国际先进水平。尽管在随后的日子里,华为遭遇了多轮制裁,芯片制造能力受到严重限制,但昇腾系列芯片的研发从未停止。到2023年,华为已经能够提供从训练到推理的全栈AI解决方案,昇腾910B芯片在部分场景下的性能已经接近英伟达的A100。
这场算力战争的深远影响,远远超出了芯片本身。它正在重塑全球科技产业的格局,重新定义国家间的竞争规则。在过去,衡量一个国家科技实力的指标可能是钢铁产量、石油储备或者发电能力。而在今天和未来,算力——更准确地说,是生产算力的能力——正在成为新的核心竞争要素。一个国家如果不能掌握先进的芯片设计和制造技术,就可能在未来的科技竞争中处于被动地位。
对于我们这一代年轻人来说,算力革命带来的既是挑战也是机遇。挑战在于,算力正在成为继电力、网络之后又一项基础性资源,而获取这种资源的能力往往集中在少数国家和企业手中。机遇在于,人工智能正在降低创新的门槛,一个有想法的年轻人,借助云端算力和开源工具,完全有可能做出不亚于大型企业的创新成果。关键在于,我们是否愿意主动去理解这场算力革命的本质,是否能够把握住其中蕴含的机会。
在接下来的章节中,我们将深入探索这场算力革命的核心——那些被称为“芯片大脑”的核心硬件。我们将依次走进三家公司的大脑:首先是占据全球AI芯片市场主导地位的英伟达,了解它的GPU架构如何成为当代AI训练的标准配置;其次是谷歌的TPU(张量处理单元),看看搜索巨头如何通过自研芯片开辟出一条不同于英伟达的道路;最后是华为的昇腾,探究这家中国科技旗舰如何在逆境中打造自己的算力底座。通过这三颗“芯片大脑”的故事,我们将看到算力革命的多个侧面,理解技术创新背后的商业逻辑和地缘政治博弈。
但在此之前,让我们先把目光聚焦在一个最基本的问题上:为什么人工智能需要如此海量的算力?这个问题看似简单,却涉及到神经网络的核心工作原理,理解它将帮助我们更好地把握算力革命的本质。
要回答这个问题,我们不妨从一个简单的例子开始。假设你正在学习识别猫和狗的图片。作为人类,你可能只需要看几十张图片就能准确区分两者。但对于一个基于神经网络的AI系统来说,这个过程要复杂得多。神经网络的工作方式与人类大脑有相似之处,但也有本质的不同。它并不是通过理解“猫有胡须、狗有尾巴”这样的概念来识别动物,而是通过调整数以百万计的参数,逐层提取越来越抽象的特征,最终做出判断。
这个过程可以类比为一座层层叠叠的工厂流水线。原始的图片数据(像素值)首先进入第一层流水线,工人们(神经元)根据预设的规则对数据进行初步处理;处理后的结果传递给下一层,工人们再次进行处理,提取出更高级的特征,比如边缘、纹理等;这个过程不断重复,每一层都在前一层的基础上提取更抽象的特征,直到最后一层给出“是猫还是狗”的判断。
这个看似机械的过程之所以能够有效工作,关键在于“学习”二字。在训练阶段,AI系统会看到数以百万计的猫狗图片,每一张图片都标注了正确答案(这是猫还是狗)。当AI对一张图片做出判断后,系统会计算判断结果与正确答案之间的差距(称为“损失”),然后通过一种叫做“反向传播”的算法,把这个差距从最后一层逐层传递回第一层,每一层的“工人”都会根据这个差距调整自己的工作方式(参数值)。这个调整的过程,就是神经网络“学习”的本质。
现在问题来了:一次完整的“学习”需要多少计算?让我们来做一道简单的数学题。假设一个中等规模的神经网络有10亿个参数,训练数据集有10亿张图片。在一次训练迭代中,系统需要把这10亿张图片全部过一遍,计算每一次的损失并进行参数更新。这意味着总共需要进行10亿次前向传播(计算输出)和10亿次反向传播(计算梯度并更新参数)。每一次前向传播和反向传播,都涉及对10亿个参数的矩阵运算。
一个10亿参数的矩阵运算听起来可能不太直观。让我用一个更形象的比喻:如果把每一个参数想象成一个小灯泡,那么10亿个参数就是1000万个40瓦灯泡同时点亮所需的电量。想象一下,每一秒钟之内,这样的运算需要重复数百万次——这就是训练一个大型AI模型所需要的算力。
而这还只是冰山一角。现代AI模型的参数规模远远超过了10亿。2020年发布的GPT-3有1750亿个参数,2023年发布的一些大模型甚至超过了万亿参数。每增加一个数量级的参数规模,所需的算力就会增加大约两个数量级。这意味着,从GPT-3到GPT-4,算力需求增长了数十倍。这种指数级增长的需求,对芯片技术提出了越来越高的要求。
理解了这个基本原理,我们就能明白为什么算力会成为人工智能发展的瓶颈。在算法层面,科学家们已经发展出了很多精妙的技巧,比如注意力机制、Transformer架构等,这些创新让相同规模的算力能够发挥更大的作用。但算法优化的速度,远跟不上模型规模增长带来的算力需求增长。因此,在可预见的未来,算力仍将是最稀缺的资源,而掌握算力的企业和国家,将在人工智能竞争中占据绝对优势。
这种对算力的依赖,也催生了一个全新的产业形态:云计算和算力租赁。在过去,企业如果需要高性能计算能力,就必须自己购买和维护服务器,这是一笔巨大的前期投资。而现在,亚马逊AWS、微软Azure、谷歌云、阿里云等云计算平台提供了按需付费的算力租赁服务,企业可以根据自己的需求灵活调整算力使用量,大大降低了AI研发的门槛。但即便如此,对于最前沿的AI研究来说,算力成本仍然是天文数字。据估计,训练一个GPT-3级别的模型,仅算力成本就超过400万美元;而对于更大规模的模型,这个数字可能轻松突破千万美元级别。
算力的成本问题,也引发了关于AI发展方向的激烈讨论。一些研究者认为,我们应该把更多精力放在算法优化上,通过更聪明的架构减少对算力的依赖;另一些研究者则坚持“规模法则”,认为通往通用人工智能的唯一道路就是不断增加模型规模和训练算力。这场争论至今没有定论,但有一个趋势是确定的:无论选择哪条道路,算力都将扮演越来越重要的角色。
让我们把视线从技术层面移开,看看算力竞争如何重塑了全球地缘政治格局。美国对中国的芯片出口管制,表面上是出于国家安全考虑,防止先进技术被用于军事目的;但更深层次的原因,是美国不希望在人工智能这一战略高地上失去主导地位。毕竟,谁控制了最强大的算力,谁就可能在未来的科技竞争中占据制高点。
对于中国来说,芯片禁令既是挑战也是警醒。在过去很长一段时期,中国科技产业习惯了“跟随”策略——在别人发明的基础上进行改进和优化。但芯片产业链的高度全球化,使得“跟随”策略在核心技术上变得不可持续。一枚先进的AI芯片,从设计到制造,涉及数千道工序和数百种专业技术,任何一个环节的缺失都可能导致整个链条的中断。华为在芯片设计方面已经达到了世界先进水平,但芯片制造却仍然受制于台积电等代工厂。2020年,美国进一步收紧制裁,禁止任何使用美国技术的芯片代工企业为华为制造芯片,这直接导致华为海思最先进的芯片无法生产。
这一事件让中国更加清醒地认识到,真正的技术自主可控,不仅仅是设计出芯片,更重要的是掌握制造芯片的能力。从光刻机到EDA软件,从半导体材料到先进封装,中国在芯片产业链的多个环节都还存在短板。但正如历史上无数次证明的那样,压力往往是创新的最大动力。在国家政策的大力支持下,中国芯片产业正在加速追赶,一批批创业者和工程师正在用自己的智慧和汗水,填补一个又一个技术空白。
与此同时,算力竞争也在催生新的技术创新路径。既然在传统的GPU赛道上受到限制,那就开辟新的赛道。神经网络专用芯片(NPU)、存算一体架构、量子计算、光子计算……这些听起来像是科幻小说的技术,正在从实验室走向产业化。华为的昇腾芯片采用了自研的达芬奇架构,专门针对神经网络计算进行了优化,在能效比方面展现出了独特的优势。谷歌的TPU从一开始就走的是专用芯片路线,在特定场景下的计算效率远超通用GPU。中国的寒武纪、壁仞科技等企业也在ASIC芯片领域取得了不俗的成绩。
这些努力的效果已经开始显现。据市场研究机构的数据显示,在中国的云端AI推理芯片市场,国产芯片的份额正在稳步提升;在部分细分场景,比如智慧城市、智能制造等领域,国产AI芯片已经能够提供与进口芯片相当的性能。差距仍然存在,但追赶的速度正在加快。
算力竞争的故事,远不止于芯片本身。它关乎人才培养,关乎产业生态,关乎未来话语权的归属。一个完整的AI产业生态,需要芯片、算法、数据、应用的协同发展。芯片提供算力基础,算法定义模型架构,数据喂养模型成长,应用创造商业价值。在这条长长的产业链上,每一个环节都至关重要。
对于年轻人来说,理解算力竞争的本质,意味着理解未来世界的运行规则。无论你将来从事什么行业——是医生、律师、教师还是工程师——人工智能都将深刻地影响你的工作和生活。而人工智能的能力边界,在很大程度上取决于算力的发展。了解算力,就是了解未来的可能性边界。
在这个意义上,我们即将开始的三颗“芯片大脑”之旅,不仅是一次技术探索,更是一次思维训练。我们将学会从产业生态的视角理解技术创新,从地缘政治的角度审视科技竞争,从历史发展的脉络把握未来趋势。英伟达的GPU如何成为AI时代的标准配置?谷歌为什么要自己设计芯片?华为如何在逆境中打造昇腾?这些问题的答案,将帮助我们构建起对算力革命的全景式认知。
让我们首先走进英伟达的故事。这家1993年创立的公司,最初只是一家做游戏显卡的小企业。创始人黄仁勋敏锐地预见到,显卡的并行计算能力可以应用于图形渲染之外的领域。2006年,英伟达推出了CUDA(统一计算设备架构)平台,首次让程序员能够方便地使用GPU进行通用计算。这个决定在当时看来有些冒险——游戏显卡市场正在快速增长,为什么要把资源投入到看似小众的通用计算领域?但回过头看,这正是英伟达能够成为AI时代“军火商”的关键伏笔。
当深度学习在2010年代初期开始崛起时,研究者们发现,英伟达的GPU恰好非常适合运行神经网络训练任务。GPU的并行计算架构与神经网络的矩阵运算高度契合,相比传统的CPU,GPU可以在更短的时间内完成更多的计算。英伟达迅速抓住了这个机会,投入大量资源优化深度学习框架在自家GPU上的运行效率,并与谷歌、Facebook、OpenAI等大客户建立了紧密的合作关系。
从2012年到2023年,英伟达的市值从不足100亿美元增长到超过1万亿美元,增长了超过100倍。这个数字的背后,是人工智能产业的蓬勃发展,也是英伟达在算力生态中的主导地位。毫不夸张地说,在这个时代,任何想要训练大型AI模型的企业,都绕不开英伟达的GPU。
但英伟达的优势地位并非不可撼动。谷歌的故事就展示了另一种可能性。2015年,谷歌发布了第一代TPU(张量处理单元),这是一款专门为TensorFlow框架设计的AI加速芯片。与英伟达的通用GPU不同,TPU从一开始就是为特定类型的计算任务定制的:矩阵乘法。这正是神经网络训练中最核心、最耗时的运算。通过在硬件层面专门优化这一类运算,TPU在特定场景下可以实现比GPU更高的能效比。
谷歌开发TPU的动机也很实际:他们需要为自己的搜索引擎、语音识别、翻译等服务提供强大的AI算力支撑。当每天有数十亿次搜索请求需要处理时,算力成本就成为一个不可忽视的问题。如果能够用更高效的专用芯片来替代通用GPU,每年节省的电力和硬件成本就足以覆盖芯片研发投入。
TPU的成功证明了专用芯片路线的可行性。此后,亚马逊、微软、Meta等科技巨头都纷纷开始自研AI芯片。这股自研芯片的潮流,正在削弱英伟达在AI算力市场的垄断地位。对于整个产业来说,这是一个健康的趋势:竞争带来创新,创新降低成本,成本下降推动应用普及,最终受益的是整个社会。
华为昇腾的故事则带有更多的悲壮色彩。这家中国科技旗舰在芯片领域的布局可以追溯到2012年,那一年华为海思成立了专门的AI芯片研发团队。2018年,华为发布了全栈全场景AI解决方案,其中包括昇腾系列芯片和基于达芬奇架构的AI处理器。2019年,昇腾910芯片正式面世,其半精度浮点运算能力达到256 TFLOPS(每秒256万亿次浮点运算),在当时是全球算力最强的AI芯片之一。
然而,华为的好景不长。2019年5月,华为被美国列入“实体清单”,禁止美国企业向华为供应技术和产品。2020年5月,美国进一步收紧制裁,禁止使用美国技术的芯片代工企业为华为制造芯片。2020年8月,华为消费者业务被迫剥离荣耀品牌。2021年4月,华为的5G设备在多个国家被禁止使用。
这一系列制裁措施,对于华为的芯片业务无疑是沉重的打击。华为海思曾一度位列全球十大芯片设计公司之一,但在制裁之后,其芯片出货量急剧下降。更关键的是,即使设计出最先进的芯片,如果没有能力制造,一切都只是纸上谈兵。台积电、三星等全球最先进的芯片代工厂,都因为使用了美国技术而无法为华为代工。
但华为没有放弃。在最艰难的时刻,任正非发出了“求生存”的宣言。华为一方面加大研发投入,在EDA工具、芯片架构、封装技术等方面寻求突破;另一方面积极开拓国内市场,与国内芯