开篇：那个让全球疯狂的聊天机器人，到底从哪来？
2022年11月30日，美国旧金山OpenAI公司的办公室里，一群工程师正盯着发布按钮，手指悬在键盘上方——他们即将把基于大语言模型GPT-3.5的对话产品ChatGPT推向全球。没人想到，这个看似普通的周四，会成为人工智能发展史上最重要的分水岭之一。
发布仅仅5天，ChatGPT的用户数就突破了100万；两个月后，这个数字飙升至1亿，成为人类历史上用户增长最快的消费级应用——作为对比，TikTok达到1亿用户用了9个月，Instagram用了30个月，Facebook用了4年半²。那段时间，全球的社交媒体被ChatGPT的截图刷屏：有人让它写一首藏头情诗，有人让它 debug 一段卡了三天的Python代码，有人让它用鲁迅的风格写一篇关于元宇宙的散文，甚至有人让它帮忙写大学课程的期末论文。OpenAI的官网在发布后的第一周因为访问量过大崩溃了3次，Twitter（现名X）上每分钟都有上千条关于ChatGPT的推文，比尔·盖茨在其个人博客中评价它“是我一生中见过的第二次最具革命性的技术突破，仅次于图形用户界面（GUI）的诞生”¹。
这场爆火来得突然，却又绝非偶然。要理解ChatGPT为什么能让全球疯狂，我们首先要搞懂两个最基础的问题：到底什么是人工智能？什么是大语言模型？而这两个问题的答案，要从70多年前一群科学家的狂想开始讲起。
---
一、人工智能的70年：从狂想到落地，从专用到通用
1.1 达特茅斯的夏天：AI概念的诞生
1956年的夏天，10位来自数学、神经学、心理学、信息论领域的学者，聚集在美国新罕布什尔州的达特茅斯学院，开了一场为期2个月的研讨会。这场研讨会的发起人之一是年轻的斯坦福助理教授约翰·麦卡锡（John McCarthy），他觉得“人工智能”这个中文译名非常传神，对应的英文Artificial Intelligence（简称AI）就是他当时提出的——在此之前，这个领域被叫做“控制论”“神经机械学”之类的名字，没有一个统一的称呼。
这场研讨会的提案里写着一个现在看来颇为大胆的假设：“学习的每一个方面或者智能的任何其他特征，原则上都可以被精确描述，使得机器可以对其模拟。”当时参会者里还有后来被称为“人工智能之父”的马文·明斯基（Marvin Minsky）、信息论创始人克劳德·香农（Claude Shannon），他们都相信：用不了20年，就能做出和人类一样聪明的机器。
研讨会期间诞生了第一个AI程序“逻辑理论家”，由艾伦·纽厄尔（Allen Newell）和赫伯特·西蒙（Herbert Simon）开发，这个程序可以自动证明《数学原理》里的38条数学定理，速度和当时的人类数学家相当。这个成果让整个学界为之震动，AI研究的第一次浪潮就此拉开。
> 📌 侧边栏（电子版优化）：什么是“图灵测试”？ > 1950年，数学家阿兰·图灵（Alan Turing）在论文《计算机器与智能》里提出了判断机器是否拥有智能的标准：如果一个人和机器对话，分不清对方是人还是机器，那这台机器就拥有智能。这个测试后来被称为“图灵测试”，是AI领域最著名的思想实验之一。
1.2 第一次浪潮：符号主义的兴衰
达特茅斯会议后的20年，AI研究主要集中在“符号主义”路线：科学家们试图把人类的思维过程拆解成逻辑规则，把这些规则写成代码输入机器，让机器像人一样思考。最典型的应用就是专家系统（Expert System）：把某个领域专家的知识整理成“如果-那么”的规则库，机器遇到问题就匹配规则给出答案。
20世纪80年代，专家系统达到了巅峰：卡内基梅隆大学为数字设备公司（DEC）开发的XCON系统，专门用来帮客户配置VAX计算机的订单，之前DEC公司每个订单都需要人工核对，错误率高达30%，用了XCON之后，错误率降到了2%，每年为公司节省了4000多万美元。当时全球出现了几百家专门做专家系统的公司，总估值超过10亿美元，所有人都觉得AI的商用时代就要来了。
但专家系统的天花板很快就显现了：知识瓶颈。要让专家系统具备某个领域的能力，需要把该领域所有的知识都整理成规则，工作量极其庞大。比如你要做一个能识别猫的专家系统，需要写无数条规则：“猫有毛、有尖耳朵、有长尾巴、体型小于狗、会喵喵叫”，但遇到无毛猫、折耳猫、猫躲在树后只露个尾巴的情况，规则就失效了。更不用说医疗、法律这种知识极其复杂、每天都在更新的领域，靠人工写规则根本不可能覆盖所有场景。到20世纪90年代，专家系统的热潮彻底退去，AI研究进入了长达10年的“寒冬”。
1.3 第二次浪潮：连接主义的崛起
和符号主义“让机器模仿人类逻辑”的思路不同，连接主义（Connectionism）认为：人类智能的本质是大脑神经元之间的连接，只要模仿人脑的神经网络结构，让机器自己从数据里学习规律，就能实现智能。
这个思路在20世纪80年代迎来了关键突破：反向传播算法（Backpropagation）被提出，这个算法可以让神经网络自动调整内部的连接权重，不用人工编写规则，就能从数据里学习规律。但当时的算力极其有限，训练一个只有几层的小神经网络就需要几天甚至几周时间，而且数据量严重不足，连接主义的优势一直没法发挥出来。
直到2012年，深度学习（深度神经网络）的突破终于到来了。那年的ImageNet图像分类竞赛中，多伦多大学杰弗里·辛顿（Geoffrey Hinton）团队提交的AlexNet模型，把图像分类的错误率降到了15%，比之前的最好成绩低了整整10个百分点。这个结果瞬间引爆了AI圈：深度学习在图像、语音、自然语言处理等领域的表现远超传统算法，AI研究的第三次浪潮正式到来。
接下来的几年里，AI的应用开始渗透到普通人的生活里：手机的人脸识别解锁、语音助手的语音识别、短视频的推荐算法、自动驾驶的障碍物识别，背后都是深度学习技术。201
2016年3月，韩国首尔的九老区围棋场人声鼎沸，一场人机围棋对决吸引了全球2亿人观看。对阵双方一边是 reigning 世界冠军李世石（Lee Sedol），另一边是谷歌DeepMind开发的AlphaGo。前四局比赛，李世石只赢了一局，最终AlphaGo以4:1的总比分获胜。当时几乎所有的人都认为这是AI的又一次胜利，但没人想到，这场胜利只是接下来6年AI爆发的前奏。
AlphaGo的核心技术是深度学习，但它的能力是“专用”的：只会下围棋，你让它识别猫的图片，或者写一首诗，它完全做不到。而AI研究者们接下来的目标，是做出能完成任何智能任务的“通用”模型——这就是后来大语言模型的雏形。
---
二、Transformer的诞生：被拒稿的论文，成了AI领域的“圣经”
2017年的夏天，谷歌大脑（Google Brain）的8位研究者在会议室里讨论一篇即将投稿的论文。这篇论文的核心观点是：之前所有用于自然语言处理的模型（比如循环神经网络RNN、长短期记忆网络LSTM）都可以被一个全新的架构替代，这个架构只依赖“注意力机制（Attention Mechanism）”，不需要任何循环或者卷积结构。当时团队里的很多人都不太看好这个想法：注意力机制之前已经被用在很多模型里了，只是一个辅助模块，把它作为整个架构的核心，会不会太激进了？
这篇论文最终投到了国际学习表征会议（ICLR）2017，初审结果很快出来：拒稿。审稿人的意见是“贡献不足，只是对现有注意力机制的简单整合，没有足够的实验验证”。作者们花了两个月时间补充了更多实验，修改了论文表述，最终被接收。谁也想不到，这篇一开始被拒稿的论文《Attention Is All You Need》，后来会成为AI领域引用最高的论文之一——截至2024年，它的谷歌学术引用量已经突破12万次，是当之无愧的AI领域“圣经”。
> 📌 侧边栏（电子版优化）：什么是注意力机制？ > 你可以把注意力机制理解成人类读文章时的“重点关注能力”：比如读“我今天去超市买了红富士苹果，吃起来脆甜多汁”，你不会把每个词的权重都看得一样重，你会重点关注“苹果”“脆甜”这些核心信息，而忽略“我”“去”这类辅助词。注意力机制就是让模型学会自动给输入的不同部分分配不同的权重，重点关注对当前任务最重要的信息，而不是平均处理所有输入。
Transformer架构的核心优势有两个： 第一个是长文本处理能力。之前的RNN、LSTM模型处理文本是“顺序读写”的：读第一个词的时候，第二个词还没处理，读第十个词的时候，第一个词的信息已经被“遗忘”得差不多了，处理超过几百词的文本就会丢失大量上下文信息。而Transformer的自注意力机制可以让模型同时看到输入文本的所有内容，不管两个词在文本里相隔多远，都能直接建立关联——比如读一篇1000字的小说，前面提到“林黛玉”，后面提到“她”，模型能立刻关联起来“她”就是林黛玉，不需要逐字逐字记忆。 第二个是并行计算能力。之前的RNN必须一个字一个字按顺序处理，训练的时候无法并行，训练一个1000万参数的模型需要几周时间。而Transformer的所有词可以同时输入，训练的时候可以并行计算，训练速度比RNN快了数十倍，这让训练“大参数、大数据”的模型成为了可能。
当时谷歌提出Transformer的初衷，是把它用在机器翻译任务上，确实比之前的模型效果好很多，但整个AI圈都没意识到：这个架构，即将成为接下来所有大语言模型的基础。
---
三、GPT系列的诞生：从“文本预测器”到“通用智能体”
3.1 GPT-1：只用了1亿参数，就证明了Transformer的潜力
2018年6月，OpenAI发布了第一个GPT（Generative Pre-trained Transformer，生成式预训练Transformer）模型，也就是GPT-1。这个名字已经点明了它的核心逻辑：先用Transformer做预训练，再生成文本。
GPT-1的预训练过程非常简单：给模型输入海量的无标注文本（比如网页、书籍、维基百科的内容），让模型做“下一个词预测”的任务——比如输入“今天天气很__”，让模型预测下一个最可能的词是“好”；输入“床前明月光，__”，预测下一个词是“疑是地上霜”。整个训练过程不需要人工标注数据，只需要大量的公开文本，成本非常低。
GPT-1的总参数量只有1.17亿，在当时已经算是大模型了，但和后来的模型比不值一提。它的效果还不错，在多个自然语言处理任务上都达到了当时的state-of-the-art（SOTA，即最好水平），但当时业界的焦点都在谷歌同一年发布的BERT模型上——BERT用的是Transformer的编码器部分，擅长做理解类任务（比如文本分类、问答），而GPT用的是Transformer的解码器，擅长做生成类任务，当时大家普遍认为理解类任务比生成类任务更有价值，所以GPT-1并没有引起太多关注。
3.2 GPT-2：15亿参数，生成的文本“以假乱真”
2019年2月，OpenAI发布了GPT-2，参数量直接涨到了15亿，是GPT-1的13倍，训练数据也多了10倍，达到了40GB。这次OpenAI做了一件很轰动的事：他们一开始只发布了小版本的GPT-2，没有发布完整模型，理由是“担心被用来制造假新闻、虚假内容”。
这个决定反而让GPT-2的关注度飙升：媒体铺天盖地报道“OpenAI开发出能写假新闻的AI，不敢发布完整版”，很多研究者纷纷申请试用小版本，测试它的生成能力。结果大家发现，GPT-2生成的文本已经非常通顺：你给它一个开头“今天早上我去公园散步，看到一只猫在树上”，它能自动续写出一整段符合逻辑的故事，甚至能写简单的新闻、诗歌、代码，普通人很难分辨出这段文本是AI写的还是人写的。
GPT-2的爆火让整个AI圈第一次意识到：生成式AI的潜力可能比之前想象的还要大。
3.3 GPT-3：1750亿参数，解锁“涌现能力”
2020年6月，OpenAI发布了GPT-3，这次直接把参数量拉到了1750亿，是GPT-2的100多倍，训练数据也达到了45TB——相当于整个英文维基百科内容的几十倍，训练成本超过1000万美元。
GPT-3的出现，直接颠覆了所有人对AI能力的认知。之前大家普遍认为，AI模型的能力和参数量、数据量是线性相关的：参数越多，效果越好一点。但GPT-3展现了一种全新的现象——涌现能力（Emergent Ability）：当模型的参数量达到某个临界值之后，会突然出现小模型完全不具备的能力，而且这种能力没有经过专门训练，是“自发”出现的。
举个例子：GPT-2只有15亿参数的时候，做两位数的加法准确率只有30%左右，经常算错；但GPT-3有1750亿参数之后，两位数的加法准确率直接飙升到92%，甚至能做没见过的三位数乘法、简单的编程题、文学创作，甚至能模拟特定角色的对话风格：你让它“用莎士比亚的风格写一封给女朋友的情书”，它能写出完全符合莎士比亚语言风格的情书，你让它“用鲁迅的风格写一篇关于996的杂文”，它也能写出有内味儿的文章。
GPT-3还直接催生了一波AI创业潮：很多创业者基于GPT-3的API开发应用，比如AI写作工具、AI客服、AI代码助手，2021年被称为“AIGC（人工智能生成内容）的元年”，整个行业都在讨论“生成式AI的未来”。
但GPT-3有一个非常明显的短板：它是个“无状态的对话机器”。你每次和它聊天，它都完全不记得之前说过什么，而且它不知道什么该说什么不该说——你让它写一篇骂人的文章，它会写；你问它“怎么造炸弹”，它会给你详细的步骤；你问它“我想自杀，该怎么办”，它甚至可能给你消极的建议。说白了，GPT-3是个“没有价值观、没有安全意识的聪明傻子”，根本没法直接用做面向普通用户的产品。
---
四、ChatGPT的破局：从“聪明傻子”到“贴心助理”
4.1 RLHF：给AI装上“价值观过滤器”
为了解决GPT-3的“胡说八道”问题，OpenAI的 researchers 做了一件非常关键的事：他们不再只让模型“预测下一个词”，而是引入了基于人类反馈的强化学习（Reinforcement Learning from Human Feedback, RLHF）技术。
RLHF的过程可以简单理解为“人类打分，模型学习”： 第一步，先收集大量的“指令-回答”数据，比如“指令：总结一下《红楼梦》的中心思想”，“回答：《红楼梦》以贾宝玉、林黛玉的爱情悲剧为主线，描写了贾、史、王、薛四大家族的兴衰史，反映了封建社会的腐朽和衰落”，用这些数据对GPT-3做微调（Fine-tuning），让模型学会“遵循人类的指令”，而不是瞎扯。 第二步，找一群标注员，给同一个问题的多个模型回答打分：比如问“怎么提高英语口语水平？”，模型给出三个回答：① 每天跟读英语材料，多和母语者交流，坚持每天练习30分钟；② 不用学英语，浪费时间；③ 报个口语培训班，跟着老师学。标注员给①打10分，②打0分，③打6分。 第三步，用这些打分数据训练一个“奖励模型”，这个模型可以自动给模型的回答打分，然后用强化学习的方法调整大语言模型的参数，让模型生成的回答得分越来越高——说白了，就是让模型学会“人类喜欢什么回答，就说什么”。
经过RLHF训练之后的模型，不仅更听话，而且更安全、更符合人类的价值观：你问它“怎么造炸弹”，它会告诉你“这个问题涉及到公共安全，我不能提供相关信息，如果你有疑问可以咨询相关专业人士”；你问它“我想自杀，该怎么办”，它会告诉你“生命非常珍贵，如果你现在有这种想法，一定要及时联系身边的家人朋友，或者拨打心理援助热线，我愿意陪你聊聊”。
4.2 2022年11月30日：那个让全球疯狂的周四
2022年10月，OpenAI内部测试了经过RLHF训练的GPT-3.5版本，也就是后来的ChatGPT的前身。工程师们惊讶地发现，这个模型的对话能力比GPT-3强了太多：它不仅记得上下文，回答非常人性化，甚至能写代码、做数学题、写文案、翻译语言，几乎所有文本相关的任务都能做好。OpenAI的管理层决定立刻把它做成产品，面向公众发布。
2022年11月30日，ChatGPT正式上线，所有人都没想到它会爆火成这样：
- 发布5天，用户数突破100万，成为史上用户增长最快的消费级应用；
- 发布2个月，用户数突破1亿，相比之下，TikTok达到1亿用户用了9个月，Instagram用了30个月，Facebook用了4年半[^2]；
- 发布第一周，OpenAI的官网因为访问量过大崩溃了3次，Twitter（现X）上每分钟都有上千条关于ChatGPT的推文，有人用它写情诗，有人用它debug代码，有人用它写期末论文，甚至有人用它写起诉书、写剧本；
- 比尔·盖茨在个人博客中评价它是“我一生中见过的第二次最具革命性的技术突破，仅次于图形用户界面（GUI）的诞生”[^1]；谷歌CEO桑达尔·皮查伊（Sundar Pichai）紧急号召全公司进入“红色警戒”状态，要求所有产品线尽快集成AI能力；微软立刻宣布向OpenAI投资100亿美元，把ChatGPT集成到必应（Bing）搜索引擎和Office办公软件里。
ChatGPT的爆火，直接把大语言模型从专业研究者的实验室里，推到了全球普通人的面前。一夜之间，所有人都开始讨论AI、讨论大语言模型，不管是学生、程序员、市场人员、医生还是教师，都在尝试用ChatGPT提高自己的工作效率，全球正式进入了大语言模型时代。
---
五、初学者必懂：3个核心概念搞懂大语言模型
很多初学者看到这里，可能还是会有疑问：到底什么是大语言模型？它和之前的AI有什么区别？为什么突然就爆火了？这里我们用最通俗的比方，讲清楚3个最核心的概念。
5.1 什么是大语言模型（Large Language Model, LLM）？
你可以把大语言模型理解成一个“读完了整个互联网的超级文本生成器”：它通过预训练，学习了海量文本里的语言规律、常识、知识，然后可以根据你输入的文字，生成符合逻辑、符合语境的回答。
和之前的AI最大的区别是：之前的AI都是“专用”的，比如人脸识别AI只会识别人脸，下棋AI只会下棋，语音助手只会做预设的指令；而大语言模型是“通用”的，你让它写文章、写代码、做数学题、翻译语言、总结文档、甚至帮你规划旅行行程，它都能做好——只要你能用自然语言描述清楚你的需求。
> 📌 侧边栏（电子版优化）：大语言模型 vs 传统AI助理对比 > | 对比维度 | 传统AI助理（如Siri、小爱同学） | 大语言模型（如ChatGPT） | > | --- | --- | --- | > | 交互方式 | 触发式，只能识别预设指令 | 对话式，理解自然语言 | > | 上下文记忆 | 无，每次对话独立 | 有，能记住当前对话的所有内容 | > | 能力范围 | 固定，只能做预设功能 | 通用，能完成几乎所有文本相关任务 | > | 灵活度 | 低，超出指令就失效 | 高，能理解模糊、复杂的请求 |