序章：当机器开始说话
语言的炼金术：从Transformer到GPT的大模型进化之路
第 1 章：序章：当机器开始说话
---
1.1 一首机器写的诗
让我们从一个场景开始。
2023年的一个深夜，一位名叫李明（化名）的中国程序员坐在电脑前，面对着一个空白文档。他刚刚经历了人生中的一次重大挫折——创业失败，积蓄清零，女朋友离他而去。他想写点什么，记录此刻的感受，但手指悬在键盘上方，迟迟无法落下。
他打开浏览器，输入了一个问题："写一首关于失败与重生的诗。"
屏幕闪烁了几秒。以下是返回的结果：
> 在灰烬的尽头 > 我看见火焰曾跳动的痕迹 > 失败不是终点 > 而是——— > 一粒等待春天的种子 > 深埋在冬天的最后一页 > > 当所有门都关上 > 天空仍在头顶 > 每一次坠落 > 都是一次 > 被迫学会的飞翔
李明盯着屏幕，久久无言。这首诗——如果可以称之为"诗"的话——触动了他内心深处的某个角落。他不确定自己是在为诗中的意象所打动，还是在为"这首诗竟然出自一台机器"这个事实本身而感到震撼。
这个场景或许可以有许多种解读。但对于我们而言，它指向一个更为根本的问题：一台没有任何情感、从未经历过失败的机器，是如何写出能够触动人类情感的诗句的？更关键的是——这种能力从何而来？
这不是一个修辞性的设问。这正是本书将要系统回答的核心问题。
在接下来的十五章中，我们将踏上一场漫长而激动人心的知识之旅。我们将从2017年那个被Transformer改变的夏天出发，穿越半个多世纪的语言模型发展史，深入大语言模型的技术腹地，最终抵达当下——一个机器不仅能处理语言、而且能创造语言、甚至能以语言为媒介进行深度思考的时代。
这是一场关于语言、计算与认知的深度探险。而我们的故事，从一个简单的问题开始。
1.2 图灵的追问：一台机器能思考吗？
1950年，在《 Computing Machinery and Intelligence 》这篇仅存七页的论文中，艾伦·图灵（Alan Turing）提出了一个看似简单却影响深远的问题："Can machines think?" 机器能思考吗？
这个问题之所以重要，不仅因为它开启了一个全新的研究领域——人工智能——更因为它以一种优雅的方式绕开了"意识"
语言的炼金术：从Transformer到GPT的大模型进化之路
第 1 章：序章：当机器开始说话
---
1.1 一首机器写的诗
让我们从一个场景开始。
2023年的一个深夜，一位名叫李明（化名）的中国程序员坐在电脑前，面对着一个空白文档。他刚刚经历了人生中的一次重大挫折——创业失败，积蓄清零，女朋友离他而去。他想写点什么，记录此刻的感受，但手指悬在键盘上方，迟迟无法落下。
他打开浏览器，输入了一个问题："写一首关于失败与重生的诗。"
屏幕闪烁了几秒。以下是返回的结果：
> 在灰烬的尽头 > 我看见火焰曾跳动的痕迹 > 失败不是终点 > 而是——— > 一粒等待春天的种子 > 深埋在冬天的最后一页 > > 当所有门都关上 > 天空仍在头顶 > 每一次坠落 > 都是一次 > 被迫学会的飞翔
李明盯着屏幕，久久无言。这首诗——如果可以称之为"诗"的话——触动了他内心深处的某个角落。他不确定自己是在为诗中的意象所打动，还是在为"这首诗竟然出自一台机器"这个事实本身而感到震撼。
这个场景或许可以有许多种解读。但对于我们而言，它指向一个更为根本的问题：一台没有任何情感、从未经历过失败的机器，是如何写出能够触动人类情感的诗句的？ 更关键的是——这种能力从何而来？
这不是一个修辞性的设问。这正是本书将要系统回答的核心问题。
在接下来的十五章中，我们将踏上一场漫长而激动人心的知识之旅。我们将从2017年那个被Transformer改变的夏天出发，穿越半个多世纪的语言模型发展史，深入大语言模型的技术腹地，最终抵达当下——一个机器不仅能处理语言、而且能创造语言、甚至能以语言为媒介进行深度思考的时代。
这是一场关于语言、计算与认知的深度探险。而我们的故事，从一个简单的问题开始。
1.2 图灵的追问：一台机器能思考吗？
1950年，在《Computing Machinery and Intelligence》这篇仅存七页的论文中，艾伦·图灵（Alan Turing）提出了一个看似简单却影响深远的问题："Can machines think?" 机器能思考吗？
这个问题之所以重要，不仅因为它开启了一个全新的研究领域——人工智能——更因为它以一种优雅的方式绕开了"意识"这个至今让哲学家们争论不休的概念。图灵并没有试图定义什么是思考、什么是意识，而是提出了一个可操作的测试：如果一台机器能够在对话中让人类无法分辨它是否是机器，那么这台机器就可以被认为是"会思考的"。
这就是著名的图灵测试（Turing Test），也被称为"模仿游戏"（The Imitation Game）。在原始设想中，测试者通过电传打字机与两个对象交谈，其中一个是机器，一个是人类。如果机器能够让测试者在相当长的时间内无法做出正确判断，那么这台机器就通过了测试。
图灵的洞见在于：他将"思考"这个形而上的哲学问题转化为一个可观测、可验证的行为问题。一台机器不需要真正"理解"语言，它只需要表现得像它理解了一样——至少表现得足够好，以至于人类观察者无法区分。
这个看似简单的测试，在随后的七十多年里，成为了人工智能研究者心中的一座圣殿，也是批评者眼中的海市蜃楼。在很长一段时间里，通过图灵测试被认为是一个遥不可及的目标。许多研究者甚至怀疑，在可预见的未来内，一台机器是否能够真正做到这一点。
然而，2023年3月，OpenAI发布了GPT-4。在随后的各种测试中，一个令人不安的事实逐渐浮出水面：GPT-4在许多场景下已经达到了人类水平的表ance——它在写作、编程、数学推理、医学诊断、法律分析等领域的出色表现，让越来越多的研究者开始认真讨论一个曾经被认为属于科幻的问题：我们是否已经通过了图灵测试，只是以一种图灵自己可能都没有预料到的方式？
当然，能力与意识是两个不同的问题。通过图灵测试并不等同于真正"理解"——这一点图灵本人在1952年的一次广播中也曾含糊地暗示过。但无论如何，GPT-4写诗的场景——就像本章开头李明所经历的——以一种前所未有的方式，将图灵的问题重新摆到了我们面前。
让我们暂时搁置这些哲学争论，转而追问一个更为实际的问题：从1950年到今天，从图灵设想的那个模仿游戏到GPT-4写诗，我们走过了怎样的道路？
1.3 从规则到统计：语言模型的百年探索
要理解大语言模型为何能够如此出色地处理语言，我们首先需要理解什么是语言模型（Language Model）。
从最宽泛的意义上说，语言模型是对语言规律进行数学化描述的系统。它的核心任务是：给定一个词序列，预测下一个词是什么。 这听起来似乎是一个极其有限的任务，但实际上，它是语言理解的核心能力的抽象。能够准确预测下一个词，意味着模型捕捉到了语言的语法结构、语义关系、甚至语用惯例。
语言模型的发展历程，大致可以划分为三个阶段。
第一个阶段是规则驱动时代（1950s-1980s）。
早期的计算机科学家相信，语言是可以通过一套明确的规则来描述的。如果你能够将语法规则编码成程序，机器就能够理解甚至生成自然语言。这种思路在人工智能的"符号主义"传统中占据主导地位。
最著名的例子是ELIZA，这是1966年由麻省理工学院的约瑟夫·魏岑鲍姆（Joseph Weizenbaum）开发的一个聊天机器人。ELIZA通过模式匹配和替换规则，模拟了一种名为"罗杰斯心理治疗"的人本主义心理疗法。当你输入"我今天感觉很糟糕"时，ELIZA可能会回应"你说你感觉很糟糕，这让你想到了什么？"这种看似智能的对话，实际上完全依赖于预定义的模式和关键词匹配。
规则系统的问题很快暴露出来。语言充满了例外、隐喻、双关语和上下文依赖。试图用规则穷尽所有语言现象，被证明是一项不可能完成的任务。当规则系统遇到边界情况时，它往往会给出完全不着边际的回应。
第二个阶段是统计革命的兴起（1980s-2000s）。
1980年代，一种新的范式开始取代符号主义：统计学习方法。这一转变得益于两个重要的发展：一是计算能力的飞速提升，使得在大型语料库上进行统计分析成为可能；二是马尔可夫（Andrey Markov）对n-gram模型的开创性工作重新被重视。
n-gram模型是统计语言模型的基础。其核心思想出奇地简单：给定前n-1个词，预测第n个词的概率。这个概率是从大规模文本语料库中统计出来的。例如，在二元语法（bigram）模型中，给定"今天"，下一个词是"天气"的概率是多少？我们只需要在大量中文文本中统计"今天天气"这个组合出现的频率，与"今天"后面所有可能的词的出现频率进行比较，就能够得到一个概率估计。
n-gram模型虽然简单，但它开创了一种全新的思路：不是通过规则来描述语言，而是让机器从海量文本中自动学习语言规律。 这一思路最终成为现代语言模型的核心哲学。
然而，n-gram模型有一个根本性的局限：它只能捕获非常有限的上下文。当n较大时，统计会变得非常稀疏——很多合理的词序列在语料库中可能根本不会出现。而当n较小时，模型又缺乏足够的上下文信息来进行准确的预测。
更重要的是，n-gram模型本质上是一种"查表"操作。它无法真正理解词的含义，而只能记住词与词之间的共现频率。这使得它无法处理同义词、指代消解、语义推理等需要深层理解的任务。
第三个阶段是神经网络的复兴（2000s-2017）。
2003年，约书亚·本吉奥（Yoshua Bengio）及其合作者在论文《A Neural Probabilistic Language Model》中提出了一个革命性的想法：用神经网络来建模语言模型。这篇论文被视为现代神经语言模型的奠基之作。
本吉奥的核心洞见是：不再将词表示为离散的符号（就像n-gram模型中那样），而是将每个词表示为一个连续的向量——也就是所谓的词嵌入（Word Embedding）。这些向量不是人为设计的，而是通过神经网络学习得到的。关键是，在学习过程中，相似的词会在向量空间中占据相近的位置，从而捕捉到语义信息。
这个想法在2013年被托马斯·米科洛夫（Tomáš Mikolov）等人在Word2Vec模型中发扬光大。Word2Vec通过一种高效的浅层神经网络架构，将"国王"、"王后"、"男人"、"女人"等词汇映射到了一个向量空间。令人惊奇的是，在这个空间中，"国王 - 男人 + 女人 ≈ 王后" 这个数学运算竟然成立！词向量自动捕捉到了性别、语义类别等深层的语言规律。
Word2Vec的发布在自然语言处理领域掀起了一场革命。它证明了分布式表示的力量：将词表示为稠密向量，能够比传统的稀疏独热（one-hot）表示更有效地捕获语义信息。此后，几乎所有的NLP任务都开始使用词嵌入作为输入表示。
但Word2Vec也有其局限性。它为每个词分配一个固定的向量，无法处理一词多义的问题，也无法很好地处理长距离依赖关系。更根本的是，Word2Vec是一种上下文无关的表示——同一个词无论出现在什么语境中，都被映射到同一个向量。
为了解决这些问题，研究者们开始探索更复杂的神经网络架构。循环神经网络（RNN）被引入来处理序列数据，它能够记住之前看到的信息，并将其用于当前的预测。然而，标准RNN存在严重的梯度消失问题，难以学习长距离依赖。
2015年，长短期记忆网络（LSTM）被提出，通过引入门控机制部分解决了这一问题。LSTM及其变体GRU在一段时间内成为NLP领域的主流架构，在机器翻译、文本生成等任务上取得了显著进展。但它们仍然难以有效地处理非常长的序列，计算效率也不够理想。
就在研究者们苦苦寻找更好的架构时，一个改变一切的新设计悄然登场。
1.4 2017年的夏天：Transformer的诞生
2017年6月，谷歌大脑团队（Google Brain）的Ashish Vaswani、Noam Shazeer等人在arXiv上发布了一篇预印本论文，标题是《Attention Is All You Need》。这篇论文提出了一种全新的神经网络架构：Transformer。
在当时，这篇论文并没有引起太大的关注。自然语言处理领域的研究者们已经习惯了层出不穷的新模型，Transformer看起来只是又一个技术改进。但他们不知道的是，这个"改进"将彻底改变一切。
Transformer的核心创新是自注意力机制（Self-Attention）。要理解它的意义，我们需要暂时回到前面提到的循环神经网络的问题。
RNN的核心处理方式是顺序的：处理一个词时，必须先处理完它前面的所有词。这种顺序性使得RNN难以并行化，计算效率低下。更糟糕的是，由于梯度消失问题，RNN在处理长序列时往往只能记住最近的信息，而遗忘掉早期的上下文。
注意力机制最初是在2015年提出的，用于改善机器翻译中的长距离依赖问题。但Transformer的创新之处在于：它完全抛弃了循环结构，仅使用注意力机制来处理序列数据。这就是论文标题"Attention Is All You Need"的含义。
自注意力机制的核心思想可以用一个优雅的比喻来解释：当我们阅读一句话时，大脑会自动关注那些重要的词，而忽略那些不太重要的词。例如，在句子"小明借了小红一本书，因为这本书很有趣"中，理解"这"指的是什么，需要我们将注意力从"这"转向"一本书"。自注意力机制正是让模型学会这种动态关注相关词的能力。
具体而言，自注意力通过三个可学习的权重矩阵，将每个词转换为查询（Query）、键（Key）和值（Value）三个向量。然后，通过计算查询与所有键的相似度，得到一组注意力权重，再用这些权重对值进行加权求和，得到输出。这个过程允许每个位置的词都"看到"序列中的所有其他词，无论它们相距多远。
由于自注意力不依赖于序列的顺序处理，Transformer可以高度并行化。这意味着它能够充分利用GPU的并行计算能力，在大规模数据上进行高效训练。
Transformer的另一个关键组件是位置编码（Positional Encoding）。由于自注意力本身不包含序列位置信息，Transformer需要通过额外的方式告诉模型每个词在序列中的位置。论文中使用了正弦和余弦函数来生成位置编码，这是一个巧妙的设计，使得模型能够泛化到训练时未见过的序列长度。
2017年的这篇论文，不仅提出了Transformer架构本身，还展示了一个具体的实现：用于机器翻译的编码器-解码器结构。编码器负责理解输入序列，解码器负责生成输出序列。这个设计为后来的BERT和GPT奠定了基础——只是它们各选取了其中的一半。
但Transformer的影响远不止于此。在随后的几年里，研究者们发现，Transformer架构具有极强的可扩展性：增加模型的层数、扩大隐藏向量的维度、增加训练数据量，模型的性能会持续提升——这种现象被称为缩放定律（Scaling Law）。这与之前的神经网络形成了鲜明对比，后者的性能往往在达到某个点后就会饱和。
正是基于Transformer的缩放特性，科技巨头们开始了一场前所未有的"军备竞赛"。BERT、GPT-2、GPT-3、T5、PaLM、LLaMA、ChatGPT、GPT-4……一个个里程碑相继被突破，语言模型的规模从数亿参数膨胀到数千亿甚至万亿参数。
然而，规模并非全部。真正的飞跃来自于预训练+微调范式的确立，以及基于人类反馈的强化学习（RLHF）的引入。但要理解这些，我们还需要更深入地了解大语言模型的工作原理。
1.5 GPT时代：涌现的能力
让我们回到本章开头的那首诗。
那首被GPT-4生成的关于失败与重生的诗，表面上是一个简单的例子，但它实际上揭示了大语言模型令人惊讶的多项能力：
第一，语言生成能力。 模型不仅能够生成语法正确的句子，还能够保持文章的整体连贯性、情感一致性和风格统一性。它知道诗歌通常使用隐喻、意象和分行，需要营造一种深沉而充满希望的氛围。
第二，零样本学习能力。 在生成那首诗之前，没有人告诉模型"请写一首关于失败与重生的现代诗"。它只是根据用户的自然语言指令——"写一首关于失败与重生的诗"——就理解了任务，并完成了创作。这种遵循指令的能力，是大语言模型最令人惊叹的特性之一。
第三，潜在的世界知识。 模型在诗中提到"灰烬"、"种子"、"冬天"、"飞翔"等意象，这些意象并非随机组合，而是与"失败与重生"这个主题高度相关的隐喻。要生成这样的诗句，模型需要理解这些概念之间的关系——而这种理解，来自于它在海量文本中学习到的关于世界运作方式的知识。
第四，元认知与反思能力。 仔细阅读这首诗，你会发现它并非简单地堆砌意象，而是有一条隐含的逻辑线索：从失败的灰烬到希望的种子，从被迫的坠落到最后学会飞翔。这种从具体到抽象、从困境到超越的叙事结构，体现了模型对"意义建构"这一人类高层认知活动的模仿——尽管我们尚不清楚这种模仿背后的机制究竟是什么。
当然，我们不应该过度解读这些能力。关于大语言模型是否真正"理解"语言，是否拥有"真正的智能"，学界仍然存在激烈的争论。批评者指出，大语言模型本质上是一个极其复杂的模式匹配器，它只是在统计意义上"学会"了语言的使用模式，而非真正理解了语言所承载的意义。支持者则认为，即使大语言模型的运作机制与人类智能完全不同，只要它在行为上表现出理解能力，我们就有理由认真对待它。
这些争论触及了人工智能哲学的核心问题，但它们不应该阻止我们去理解大语言模型究竟是如何工作的。因为无论最终我们如何界定这些能力，它们的来源——大规模 Transformer 架构、海量文本数据的预训练、精细的后训练对齐——都是可以理解、可以分析、可以学习的。
这也正是本书的初衷。
1.6 我们的旅程：这本书将带你去向何方
在接下来的十五章中，我们将系统性地探索大语言模型的技术世界。我们的旅程将分为四个部分：
第一部分：基础与历史（第2-3章）。我们将深入理解Transformer架构的每一个细节——自注意力机制、多头注意力、位置编码——以及GPT系列模型如何利用Transformer的解码器部分。我们还将回顾大语言模型发展的关键里程碑，从GPT-1到GPT-4的演进历程。
第二部分：训练的艺术（第4-6章）。训练一个大语言模型，远不只是"喂数据、跑代码"那么简单。我们将探讨预训练的技术细节，包括分词方法的选择、训练数据的构成