算力觉醒:一个新时代的序章
2016年3月9日,韩国首尔四季酒店,一场载入人类文明史册的对弈正在进行。对局的一方是拥有18个世界冠军头衔的传奇棋手李世石九段,另一方是谷歌DeepMind团队打造的人工智能程序AlphaGo。比赛开始前,几乎所有围棋界和科技界的观察者都认为,人类赢下这局棋的概率超过九成。毕竟在那之前的二十年间,计算机在象棋领域已经所向披靡,但围棋却始终是人类最后的堡垒——围棋的搜索空间之巨大、局面变化之复杂,被认为远超当时计算机的处理能力。然而,当AlphaGo以5目半的优势拿下第一局,当李世石在第二局第78手下出那步被誉为"神之一手"的挖时,整个世界的认知在这一刻被彻底颠覆。
这不是一次普通的技术演示,而是一场静悄悄的革命。当全世界的目光聚焦于这五局棋赛的胜负时,真正改变人类历史进程的,是那些隐藏在算法背后的、被大多数人忽视的力量——算力。AlphaGo之所以能够战胜李世石,不仅因为DeepMind的算法工程师们设计出了精妙的神经网络架构,更因为Google为其配备了强大的计算资源:1202个CPU处理器、176个GPU芯片,以及Google云平台的分布式计算能力。正是这些"沉默的计算力",让曾经被认为需要几十年才能攻克的围棋堡垒,在短短几年内轰然倒塌。
回望人工智能的发展历程,我们会发现一个清晰的脉络:每一次重大的技术突破,都伴随着算力的指数级跃升;而每一次算力的跃升,又反过来催生出更加复杂的算法和应用。算力与智能之间的关系,恰如引擎与汽车——更强大的引擎让汽车能够跑得更快更远,而对速度与性能的追求,又推动着引擎技术不断革新。这种相互促进、螺旋上升的关系,构成了人工智能发展史的主旋律。
第一阶段:符号主义的辉煌与困局
人工智能作为一个独立学科的诞生,通常被认为以1956年夏天达特茅斯会议为标志。在那场为期两个月的研讨会上,约翰·麦卡锡、马文·明斯基、克劳德·香农、艾伦·纽厄尔等一群年轻的科学家聚在一起,首次提出了"人工智能"(Artificial Intelligence)这一术语,并描绘了一幅令人振奋的蓝图:让机器能够像人类一样进行推理、学习和解决问题。他们相信,只要将人类的知识和推理规则以符号的形式编码进计算机,智能的出现就是理所当然的事情。
这种被称为"符号主义"或"GOFAI"(Good Old-Fashioned Artificial Intelligence)的方法,在上世纪五六十年代取得了令人瞩目的成就。1966年,麻省理工学院的约瑟夫·维森鲍姆开发了ELIZA,这是世界上第一个聊天机器人,它能够通过模式匹配技术与人类进行简单的对话。1972年,斯坦福大学的爱德华·肖特利夫等人开发了MYCIN系统,这是一个用于诊断细菌感染的专业医疗诊断系统,其诊断准确率甚至超过了部分人类医生。1980年代,卡内基梅隆大学的道格·莱纳特开发了NETL系统,这是世界上第一个大规模知识库系统,能够模拟人类的常识推理。
支撑这些成就的,是当时相对简单的计算硬件。以1969年阿波罗11号登月任务中使用的阿波罗导航计算机为例,其处理器的时钟频率仅为2MHz,RAM只有4KB,ROM也不过32KB。这样的计算能力在今天看来微不足道,但在那个时代却足以完成人类历史上的壮举。符号主义AI对算力的需求同样有限:它主要依赖于规则匹配和逻辑推理,搜索空间虽然可能很大,但通过精心设计的启发式规则,可以有效地剪枝和控制。正是这种对算力的"低需求",让符号主义在很长一段时间内成为AI研究的主导范式。
然而,符号主义的辉煌很快遇到了瓶颈。最根本的问题在于"知识获取":人类专家的领域知识很难被完整地提取并形式化为计算机可读的规则。一个医生数十年的临床经验、一位棋手的直觉判断、一个翻译者对语境的理解——这些隐性知识无法通过简单的规则编码来传递。1980年代日本雄心勃勃的"第五代计算机"项目,试图用Prolog语言和并行处理来突破这一困局,最终却以失败告终。这一失败不仅终结了符号主义的黄金时代,也让整个AI领域陷入了长达十年的"AI寒冬"——研究经费锐减、学术界兴趣下降、产业界投资热情消退。
在这段艰难的岁月里,符号主义的拥趸们仍在努力。1984年,道格·莱纳特创立了Cyc项目,目标是构建一个包含人类所有常识的巨型知识库。三十多年后的今天,Cyc知识库已经包含了超过250万个概念和1500万个断言,覆盖了人类日常知识的方方面面。然而,这种"知识工程"的方法始终无法解决一个根本问题:机器可以处理符号,却无法真正"理解"符号背后的含义。"中文房间"实验的提出者约翰·塞尔曾尖锐地指出,符号操作并不等同于智能——一台机器可以完美地执行所有规则,却对这个世界一无所知。
符号主义的兴衰告诉我们一个重要的教训:智能不仅仅是对规则的遵循,更需要对世界的"感觉"和"直觉"。而这种对世界的感知能力,恰恰是传统符号主义方法所缺乏的。当研究者们苦苦思索如何让机器真正"理解"世界时,一些学者开始将目光投向一个被忽视已久的领域——统计学。
第二阶段:统计学习的崛起
1990年代初,一个微妙但意义深远的转变正在AI领域悄然发生。随着互联网的兴起和数字化信息的爆炸式增长,数据变得前所未有的丰富。研究者们开始意识到,与其让人类专家费力地编码知识,不如让机器直接从数据中学习规律。这种以统计学和概率论为基础的新方法,被称为"统计学习"或"机器学习"。
这一转变的标志性事件是1990年代后期语音识别技术的突破。在此之前,语音识别系统主要依赖于人工设计的声学模型和语言规则,识别率长期在低位徘徊。1990年代中期,IBM的弗雷德里克·杰利内克和他的团队开始尝试用隐马尔可夫模型(Hidden Markov Model, HMM)和统计语言模型来改进语音识别。这些方法不再依赖于人类专家编码的规则,而是让机器从数千小时的语音数据中自动学习语音和语言的统计规律。结果是革命性的:识别率大幅提升,系统开始能够处理连续的、自然的语音输入。
支持向量机(Support Vector Machine, SVM)的兴起是统计学习时代的另一个重要里程碑。1992年,弗拉基米尔·瓦普尼克和他的同事们提出了基于核函数的支持向量机,这种方法在模式识别和分类任务上表现出色。与神经网络不同,支持向量机有坚实的统计学理论基础,能够在有限的训练数据下表现出良好的泛化能力。1995年,雅恩·勒昆等人提出的Adaboost算法进一步推动了统计学习的发展,这种集成学习方法在目标检测和人脸识别等任务上取得了惊人的成功。
然而,统计学习时代对算力的需求已经与符号主义时期不可同日而语。训练一个复杂的机器学习模型往往需要处理数以百万计的数据样本,涉及大量的矩阵运算和数值优化。以语音识别系统为例,一个实用的模型可能需要数TB的语音数据进行训练,训练过程可能需要数周甚至数月。传统的CPU在这种大规模数值计算任务上效率低下,于是研究者们开始寻找更高效的硬件平台。
正是在这个背景下,GPU(图形处理单元)进入了AI研究者的视野。GPU最初是为了加速电脑游戏中的图形渲染而设计的,其架构特点是大规模并行计算——成百上千个小型计算单元同时工作,能够高效地执行简单的算术运算。这与机器学习训练过程中大量存在的矩阵乘法运算高度契合。最早将这一发现付诸实践的是斯坦福大学的吴恩达和他的学生。2008年,吴恩达团队在GPU上进行深度神经网络的训练实验,结果令他们震惊:原本需要数周才能完成的训练任务,在GPU上只需要几天甚至几个小时。这一突破虽然没有立即引起广泛关注,却为后来的深度学习革命埋下了伏笔。
统计学习时代还给AI领域带来了一场关于"特征工程"与"表示学习"的深刻辩论。在传统的机器学习流程中,研究者需要花费大量时间和精力手工设计特征提取器——告诉机器应该如何从原始数据中提取有用的信息。例如,在图像识别中,研究者可能会设计边缘检测器、纹理描述符、形状滤波器等特征提取算法;而在语音识别中,则需要设计MFCC(梅尔频率倒谱系数)等声学特征。这种手工设计特征的方法费时费力,而且往往依赖于领域专家的经验和直觉。
替代方案是"端到端学习":让机器自动从数据中学习最优的特征表示。这一思路在理论上很有吸引力,但实现起来却困难重重。一个能够自动学习特征的模型本身必须足够复杂,而复杂的模型又需要更多的数据来训练,更大的算力来支撑。在那个时代,同时满足这三个条件几乎是不可能的任务。于是,"特征工程"与"表示学习"的争论持续了多年,最终以一个出人意料的方式落下帷幕——深度学习的兴起彻底改变了这一格局。
第三阶段:深度学习的革命
2012年9月30日,一个载入AI史册的日子。在这一年ImageNet大规模视觉识别挑战赛(ILSVRC)的比赛结果中,一个名为AlexNet的深度卷积神经网络以压倒性的优势夺得冠军,其top-5错误率仅为15.3%,比第二名的26.2%低了整整11个百分点。这不仅是一次技术上的胜利,更是一场范式革命的宣言。
ImageNet竞赛在当时已经举办了三年。竞赛的任务是对包含1000个类别、数百万张图片的数据集进行分类,每年都有世界各地的顶尖研究团队参与。在此之前,获胜系统的错误率一直维持在26%左右,进步缓慢。然而,AlexNet的出现彻底打破了这个"玻璃天花板"。更引人注目的是,AlexNet的架构与1998年杨立昆等人提出的LeNet-5非常相似——都是深度卷积神经网络,核心思想没有本质区别。那么,为什么在1998年没有出现深度学习的突破,而要在14年后的2012年才迎来这一刻?
答案藏在算力的指数级增长中。1998年到2012年的十四年间,GPU的性能提升了约350倍。NVIDIA在2006年推出的CUDA(计算统一设备架构)平台,第一次让研究者能够方便地在GPU上编写通用计算程序。AlexNet使用了两块NVIDIA GTX 580 GPU进行训练,每块GPU有512个CUDA核心和3GB显存。正是在这种算力的支撑下,AlexNet能够训练一个包含6000万个参数、8层深度的卷积神经网络——这在1998年是不可想象的。更重要的是,GPU的并行计算特性让训练时间从理论上的数月缩短到几天,极大地加速了研究迭代的周期。
AlexNet的成功点燃了深度学习革命的导火索。接下来的几年里,深度学习模型在ImageNet竞赛中的错误率持续下降:2014年的GoogLeNet达到6.7%,2015年的ResNet更是将错误率降到了3.6%——这已经低于人类在ImageNet数据集上约5%的错误率。机器视觉的难题基本被攻克,研究者的目光开始转向其他领域。2015年,深度学习在语音识别领域取得突破,Google宣布其语音识别系统的词错误率降至8%,较前一年下降了约50%。2016年,AlphaGo的横空出世让全世界见识了深度学习在策略博弈领域的威力。2017年,Transformer架构的提出为自然语言处理带来了革命性的变化。
深度学习之所以能够取得这些突破,算力是关键的支撑因素之一。现代深度学习模型的规模呈指数级增长:2012年的AlexNet有6000万参数,2014年的VGG-16有1.38亿参数,2018年的BERT-Base有1.1亿参数,而2020年的GPT-3则有惊人的1750亿参数。这种规模的增长对算力的需求是惊人的:训练GPT-3估计需要消耗约3640 Petaflop/s-day(相当于每秒进行3.64×10^17次浮点运算,持续一天)的算力。这相当于在一秒内完成全人类数千年的计算量。
让我们用更具体的数字来感受这种增长:2012年,训练AlexNet需要约2.5 GFLOPS(每秒30亿次浮点运算)的算力和数天的训练时间;到2020年,训练一个大规模语言模型的算力需求已经超过300 PFLOPS(每秒3×10^17次浮点运算),训练时间可能长达数周甚至数月。这种指数级的增长趋势,就是后来被业界称为"Scaling Law"(规模法则)的核心内容。
值得注意的是,深度学习时代对算力的需求不仅是数量级的提升,更带来了质的改变。传统的高性能计算任务,如科学模拟和天气预报,往往具有高度的数据局部性和可预测性,可以用较少的通信开销来实现高效的并行化。但深度学习训练过程具有不同的特点:需要频繁地在大量计算节点之间同步梯度信息,对通信带宽的要求极高;训练过程中的内存占用巨大,单个GPU的显存往往不够用,需要进行模型并行和数据并行;超参数的选择对最终结果影响显著,需要进行大量的实验探索。
这些新的特点催生了一系列专门针对深度学习优化的硬件和软件系统。Google开发了张量处理单元(Tensor Processing Unit, TPU),这是一种专门为深度学习任务设计的ASIC芯片,在矩阵运算方面具有极高的能效比;NVIDIA不断迭代其GPU架构,从Pascal到Volta再到Ampere,每一代都在深度学习训练性能上有显著提升;英特尔收购了Nervana和Habana Labs,意图在AI芯片市场分一杯羹;中国的华为推出了昇腾系列AI芯片,阿里巴巴的达摩院也研发了含光800芯片。在软件层面,TensorFlow、PyTorch、MXNet等深度学习框架相继问世,大大降低了深度学习研究的门槛。
三位掌门人的远见与抉择
在这场算力驱动的AI革命中,有三位人物的故事特别值得铭记:他们分别执掌着全球最重要的三家科技公司,在关键的历史节点上做出了具有深远影响的战略决策。他们的故事,不仅是个人的传奇,更是时代变革的缩影。
黄仁勋:从游戏显卡到AI引擎
2012年,当AlexNet在ImageNet竞赛中大放异彩时,大多数人看到的是深度学习的突破。但有一个人看到的却是另一个故事——GPU计算时代的到来。这个人就是黄仁勋,NVIDIA的联合创始人兼CEO。
黄仁勋1963年出生于台湾,9岁时随家人移居美国。1993年,30岁的他与两位合伙人共同创立了NVIDIA,目标是成为图形处理领域的领导者。在随后的近二十年里,NVIDIA的核心业务一直是游戏显卡——让玩家能够在电脑上体验到逼真的3D图形效果。2006年推出的CUDA平台是黄仁勋下的一步关键棋:它将GPU从单纯的游戏设备转变为通用的并行计算平台。这一决策在当时并没有立即显现出价值——CUDA的计算模型与传统的图形渲染完全不同,大多数开发者并不熟悉,而且GPU在通用计算领域的性能优势也尚未显现。
但黄仁勋看到了更远的未来。他在多个场合表示,GPU的并行计算架构非常适合解决现代科学和工程领域的计算密集型问题。他开始大力推广CUDA生态系统,与全球顶尖高校合作开设课程,在科研社区培养CUDA开发者社群。即便在2008年金融危机期间,当许多公司削减研发投入时,NVIDIA仍然保持着对CUDA的高额投资。
2012年后,当深度学习研究者们开始大量采用GPU进行模型训练时,黄仁勋敏锐地意识到这是一个历史性的机遇。NVIDIA迅速调整战略,将深度学习作为公司的核心发展方向之一。2016年,NVIDIA推出了专为深度学习设计的Pascal架构GPU;2017年,又推出了Volta架构,增加了Tensor Core这一专门用于深度学习矩阵运算的硬件单元;2018年,NVIDIA宣布以69亿美元收购 Mellanox,这是为了增强其在数据中心互联领域的竞争力;2020年,NVIDIA又宣布以400亿美元收购ARM,虽然这笔交易最终因监管障碍而未能完成,但其野心可见一斑。
黄仁勋的赌注得到了丰厚的回报。在短短几年内,NVIDIA的市值从2012年的约100亿美元飙升到2021年的超过8000亿美元,成为全球市值最高的芯片公司。NVIDIA的GPU从游戏玩家的专属装备变成了AI时代的"数字铲子"——无论是大规模语言模型的训练,还是自动驾驶系统的开发,都离不开NVIDIA的芯片支撑。
然而,黄仁勋的视野并不止于硬件。他在2019年提出了"软件定义芯片"的概念,认为未来的计算平台将由软件而非硬件主导。他推动NVIDIA开发了一系列软件栈,从CUDA到cuDNN、TensorRT、DeepStream等,覆盖了从模型训练到部署推理的全流程。黄仁勋曾表示,NVIDIA不是一家芯片公司,而是一家软件公司,只不过碰巧在制造芯片。这种软件优先的思维,让NVIDIA在激烈的市场竞争中构建了难以逾越的生态壁垒。
皮采:Google的AI优先战略
2015年8月,Google宣布进行重大架构重组,成立Alphabet作为母公司,Google成为其最大的子公司。同月,皮采正式接替拉里·佩奇成为Google的CEO。在此之前,皮采是Google产品团队的核心负责人,主导了Chrome浏览器和Android操作系统的成功。但很少有人知道,正是皮采在关键时刻推动的AI战略转型,深刻地改变了Google乃至整个科技行业的格局。
2014年,Google以约5亿美元收购了DeepMind,这家成立于2010年的伦敦AI初创公司,由天才科学家德米斯·哈萨比斯创办,聚集了一批神经科学和机器学习领域的顶尖人才。皮采从一开始就对这次收购给予了特别关注。他认识到,DeepMind不仅仅是一个有潜力的AI研究团队,更代表了一种全新的研究范式——将深度学习与强化学习相结合,让机器能够通过自我对弈学习复杂技能。2016年的AlphaGo就是这种范式的第一次完美展示。
在AlphaGo取得历史性胜利后不久,皮采宣布Google将把AI放在公司战略的核心位置,推行"AI First"(人工智能优先)战略。这一战略的核心内容包括:加大在AI基础研究上的投入,将AI能力融入Google的所有产品和服务,打造端到端的AI技术栈。
在基础设施层面,皮采推动了Google TPU的研发。TPU是Google自主设计的AI专用芯片,第一代TPU于2016年正式发布,专门用于加速深度学习推理任务。从那时起,TPU已经迭代了四代,成为Google云服务的核心竞争力之一。与NVIDIA的通用GPU不同,TPU从一开始就是为特定的深度学习算子设计的,因此在能效比方面具有显著优势。
皮采还主导了Google在大型语言模型领域的布局。2018年,Google发布了BERT模型,这是一个基于Transformer架构的双向语言表示模型,在多项自然语言处理基准测试上刷新了记录。BERT的成功证明了"预训练-微调"范式的有效性,也为后续大型语言模型的发展奠定了基础。2021年,Google又发布了Switch Transformer,这是一个高达1.6万亿参数的超大规模语言模型,刷新了语言模型的规模纪录。
但皮采的AI战略也面临着挑战。在训练大规模AI模型时,Google对算力的需求是惊人的。据估计,训练BERT-Large模型需要约40 Petaflop/s-day的算力,而训练Switch Transformer则需要数千Petaflop/s-day。这种规模的算力投入,即使是对于Google这样的巨头也不是小数目。更重要的是,随着AI伦理问题的日益突出,Google在推进AI技术的同时也在承受来自各方的审视——从AI偏见到深度伪造,从隐私侵犯到就业替代,这些问题都需要Google在追求技术进步的同