序章：机器的语言觉醒——从图灵测试到统计 NLP 的漫长跋涉

1950年，阿兰·图灵发表了他那篇著名的论文《计算机器与智能》，提出了一个看似简单却影响深远的问题：“机器能思考吗？”为了将这一哲学问题转化为可操作的科学测试，他设计了“模仿游戏”——后来被称为图灵测试。测试的核心设定是：一名人类评判员通过文本界面与两个 unseen 实体交流，其中一个真正的人类，一个机器。如果评判员无法可靠区分两者，机器便通过了测试。图灵在论文中乐观预测：“到2000年，人们可以说‘机器能思考’而不会遭到普遍反对。”然而，他未曾预料到，通往这一目标的道路远比想象中曲折——机器在“思考”之前，必须先学会“理解”语言，而语言的迷雾笼罩了人工智能领域整整六十年。从基于规则的 brittle 系统，到统计方法的概率迷雾，再到神经网络带来的表示学习革命，自然语言处理（NLP）的演进史，本质上是一部人类试图将语言这一人类最自然能力的“黑箱”逐步解码的认知史。本章将穿越这段漫长的跋涉，从ELIZA简单的模式匹配开始，历经统计机器翻译的数据驱动觉醒，最终抵达Word2Vec所开启的词嵌入新大陆，揭示为何“表示学习”成为大模型时代不可或缺的技术地基。

---

基于规则的黎明：符号主义的雄心与局限

在计算机科学的黎明期，语言被视作一种精确的符号系统，类似于数学逻辑或编程语言。1956年的达特茅斯会议正式确立了“人工智能”这一术语，与会者普遍相信，通过精心设计的规则和逻辑推理，机器很快就能解决任何智力问题，包括语言理解。这一信念植根于符号主义（Symbolicism）范式——认为智能的核心是对抽象符号的操作。

ELIZA：第一个“对话”机器人与模式匹配的魔术

1964年，麻省理工学院人工智能实验室的约瑟夫·魏岑鲍姆（Joseph Weizenbaum）开发了历史上第一个广为人知的聊天机器人——ELIZA。其最著名的脚本是“DOCTOR”，模拟罗杰斯式心理治疗师。ELIZA的工作原理极其简单：它没有真正的“理解”，仅依靠模式匹配（Pattern Matching） 和脚本（Scripts）。当用户输入一句话，程序扫描关键词（如“母亲”、“ dream ”、“因为”），根据预设的转换规则重新组织语句，往往将输入反射回用户。例如，用户说“我感到很难过”，ELIZA可能回应“为什么你会感到难过？”。这种反射性回应巧妙地利用了人类对话的协作原则，让用户错觉机器理解了其情感。

ELIZA的源码仅约200行，却产生了惊人的效果。魏岑鲍姆惊讶地发现，即使向用户明确说明程序的简单性，许多人仍坚持认为机器具有“理解力”。这一现象后来被称为“ELIZA效应”——人类倾向于将计算机的复杂行为过度归因于类人的智能。ELIZA如同一面镜子，映照出人类对对话伙伴的投射心理，也暴露了早期基于规则方法的根本缺陷：它们无法真正理解语义，只是精心设计的符号游戏。

符号主义系统的技术骨架：生成式语法与语义网络

在ELIZA之后，研究者试图构建更复杂的语言理解系统。核心工具是生成式语法（Generative Grammar），尤其是诺姆·乔姆斯基（Noam Chomsky）在1957年提出的转换生成语法（Transformational Generative Grammar）。该理论将语言视为由有限规则生成无限句子的系统，分为短语结构规则和转换规则。受此启发，AI研究者开发了基于上下文无关文法（CFG）的句法分析器，试图为句子构建树状结构。

然而，句法分析只是第一步。真正的挑战是语义理解。为此，研究者提出了语义网络（Semantic Networks） ，用节点表示概念，边表示关系（如“是-一种”、“部分-整体”）。例如，“鸟”节点通过“是-一种”连接到“动物”，通过“有”连接到“翅膀”。系统通过遍历网络来推理，如回答“鸟会飞吗？”需检查“鸟”→“动物”→“会飞”的路径。

但这些系统面临灾难性的“知识工程瓶颈”。首先，语言的歧义无处不在。例如，“Time flies like an arrow” 既可理解为“时光如箭般飞逝”，也可被误读为“一种叫‘时光 flies’的昆虫喜欢箭”。基于规则的系统需为每种歧义编写庞大规则集，而这些规则往往相互冲突。其次，语言的灵活性远超规则覆盖：新词、俚语、隐喻、语境依赖含义……任何预定义规则集都会迅速过时。最后，这些系统缺乏鲁棒性——一个未预见到的输入便会导致失败。它们如同精美的瓷器，美丽却脆弱。

到1980年代，基于规则的NLP系统（如LUNAR系统用于回答月球地质问题）在受限领域（如特定数据库查询）取得有限成功，但一离开“玩具问题”，便显得笨拙不堪。符号主义范式遭遇了根本性质疑：语言是否真的可以被完全形式化为离散符号的规则操作？抑或语言的核心在于其统计规律和分布特性？

---

统计语言模型的崛起：概率的迷雾与数据的曙光

当符号主义在语言的复杂性面前步履蹒跚时，另一条路径悄然兴起：统计自然语言处理。其核心思想是，语言行为可以从大量文本数据中通过概率模型学习，而非依赖人工规则。这一转向得益于两个关键因素：计算能力的提升和大型文本语料库的可用性（如布朗语料库的发布）。语言不再被视为符号的逻辑系统，而是随机过程的产物。

n-gram模型：马尔可夫假设下的语言近似

统计语言模型的奠基性工作是n-gram模型。其核心假设是马尔可夫假设（Markov Assumption） ：一个词的出现概率仅依赖于前n-1个词。例如，在二元模型（bigram）中，$P(w_i | w_{i-1})$ 表示在词 $w_{i-1}$ 之后出现 $w_i$ 的条件概率。这些概率通过计数大规模语料库中n-gram序列的频率并平滑（如加一平滑、Kneser-Ney平滑）来估计。

n-gram模型在1980年代彻底改变了语音识别领域。在此之前，语音识别依赖基于规则的声学-语言模型，错误率高。IBM的弗雷德里克·贾里尼克（Frederick Jelinek）团队在1970年代将统计方法引入语音识别，提出隐马尔可夫模型（HMM） 结合n-gram语言模型。其核心洞见是：语音识别是寻找最可能产生观测声学信号的词序列的问题，即 $\arg\max_W P(W|A)$，其中 $W$ 是词序列，$A$ 是声学信号。通过贝叶斯定理，这转化为 $\arg\max_W P(A|W)P(W)$，其中 $P(W)$ 就是语言模型提供的先验概率。n-gram模型为 $P(W)$ 提供了可计算的估计。

贾里尼克的名言概括了这一范式转变：“每当我解雇一个语言学家，语音识别系统的错误率就会下降。”这句话尖锐地指出了基于规则方法的困境，也宣告了数据驱动时代的到来。到1990年代，基于统计的语音识别系统（如 Dragon NaturallySpeaking）已显著优于规则系统。

统计机器翻译：噪声信道模型的复兴

统计方法在机器翻译领域的突破更具戏剧性。传统机器翻译（如基于规则的系统）需要语言学家为每种语言对编写庞大的转换规则，耗时耗力且难以扩展。1990年代初，IBM的彼得·布朗（Peter Brown）等人发表了开创性论文《统计方法的机器翻译》，提出将机器翻译视为噪声信道模型（Noisy Channel Model） 的解码问题。

其核心思想是：源语言句子 $f$ 是目标语言句子 $e$ 经过一个“噪声信道”传输后产生的“带噪声”版本。翻译任务就是从所有可能的 $e$ 中，找到最可能产生 $f$ 的那个，即 $\arg\max_e P(e|f)$。根据贝叶斯定理，这等价于 $\arg\max_e P(f|e)P(e)$，其中：

• $P(e)$ 是目标语言模型（如法语的语言模型），确保译文流畅。
• $P(f|e)$ 是翻译模型，建模从 $e$ 到 $f$ 的对应关系。

布朗团队提出了著名的IBM模型1-5，通过 Expectation-Maximization（EM）算法从平行语料库（如加拿大议会汉萨德记录，英法对照）中自动学习翻译概率。例如，模型会学习到法语词“chien”对应英语词“dog”的概率较高，而“cat”对应“chat”的概率较高。这一方法无需任何语言学家介入，完全依赖数据。

然而，统计机器翻译的早期成果仍显生硬。翻译结果在词汇层面尚可，但句子结构混乱，缺乏连贯性。问题根源在于：n-gram语言模型仅捕捉局部词序依赖，无法建模长距离结构；翻译模型基于词对齐，难以处理短语和句法结构。更重要的是，所有模型都基于离散的符号计数——词被视为原子单元，彼此独立。模型不知道“猫”和“ feline ”相关，不知道“国王”减“男人”加“女人”近似“女王”。语言中的语义和结构信息仍被严重丢失。统计方法虽然摆脱了人工规则的束缚，却陷入了“维度诅咒”和“数据稀疏”的泥潭：词汇表巨大，大多数n-gram在训练语料中从未出现，导致概率估计不可靠。

数据稀疏与平滑：概率估计的挣扎

统计模型的核心挑战是数据稀疏问题（Data Sparsity） 。即使使用数十亿词的语料库，大多数可能的n-gram（尤其是三元以上）出现次数为零。直接使用最大似然估计会导致零概率问题，使整个序列概率为零。为此，研究者发展了多种平滑技术（Smoothing） ：

• **加一平滑（Laplace Smoothing）** ：给所有计数加1，简单但过度平滑，对高频词破坏大。
• **Good-Turing平滑** ：基于“出现k次的n-gram数量”来估计出现零次的概率。
• **Kneser-Ney平滑** ：更精妙的方法，特别适用于语言模型，它区分“低频n-gram的折扣”和“回退到低阶模型”的概率质量分配。

这些技巧虽能缓解问题，但本质上是“在黑暗中摸索”。它们无法解决根本缺陷：离散符号表示无法捕捉词汇间的语义相似性。模型认为“猫”和“ feline ”是完全不同的符号，即使它们语义相近。模型也不知道“吃”这个动作通常涉及“食物”作为宾语。这种符号间的“孤岛效应”限制了统计模型的泛化能力。直到表示学习的兴起，语言模型才真正开始“理解”词汇的语义。

---

表示学习的曙光：从离散符号到连续向量空间

进入21世纪，神经网络在计算机视觉和语音识别领域取得突破，但NLP仍被统计方法主导。转折点发生在2000年代中期，研究者开始探索用神经网络学习词汇的分布式表示（Distributed Representation） ，即词嵌入（Word Embedding） 。这一思想可追溯至1986年Hinton等人的早期工作，但直到2013年Word2Vec的发布，才真正引爆革命。

神经语言模型的萌芽：从NNLM到RNNLM

2003年，Yoshua Bengio 等人发表了《神经概率语言模型》（Neural Probabilistic Language Model，NNLM），首次将神经网络用于语言建模。其核心创新是：不再将词视为 one-hot 向量（高维稀疏向量，如“猫”= [0,0,1,0,...]），而是通过一个查找表（lookup table）将每个词映射为一个低维稠密向量 $\mathbf{v}_w \in \mathbb{R}^d$（$d$ 通常为50-200）。这些向量在训练中自动学习，使得语义相近的词在向量空间中距离相近。

NNLM的架构包括： 1. 嵌入层：将输入的n-1个词的 one-hot 向量转换为稠密向量，拼接成固定长度向量。 2. 隐藏层：非线性变换（如 tanh）。 3. 输出层：通过一个 softmax 层预测下一个词的概率分布 $P(w_t | w_{t-1},...,w_{t-n+1})$。

训练目标是最大化训练语料中序列的似然概率。通过反向传播，嵌入向量 $\mathbf{v}_w$ 被优化，使得在相似上下文中的词具有相似的向量。NNLM在Penn Treebank语料库上显著优于n-gram模型，验证了神经网络语言模型的潜力。

2010年，Tomás Mikolov 等人在NNLM基础上提出了循环神经网络语言模型（RNNLM） 。RNN能够处理变长序列，理论上可以捕捉任意长度的依赖关系。尽管训练困难（梯度消失/爆炸），RNNLM在语言建模任务上继续取得进展。然而，这些模型训练成本高，计算慢，尚未引起广泛关注。

Word2Vec：词嵌入的普及革命

2013年，Mikolov 等人在谷歌发布了 Word2Vec 工具包，包括两种模型架构：连续词袋（CBOW） 和 Skip-gram。它们的设计极度简化，去除了隐藏层，专注于高效学习词向量，瞬间引爆了NLP社区。

• **CBOW**：用目标词周围的上下文词（窗口内）预测目标词本身。训练目标是最大化条件概率 $P(w_t | \text{context})$。适合小型数据集。
• **Skip-gram**：用目标词预测其上下文词。训练目标是最大化 $\prod_{t=1}^{T} \prod_{c \in \text{context}(t)} P(w_c | w_t)$。Skip-gram在大型语料库上表现更好，尤其擅长捕捉语义关系。

Word2Vec 的魔力在于其学到的向量空间展现出惊人的线性类比关系。最著名的例子是：$\mathbf{v}_{\text{king}} - \mathbf{v}_{\text{man}} + \mathbf{v}_{\text{woman}} \approx \mathbf{v}_{\text{queen}}$。这表明模型学到了“性别”和“ royalty ”的语义维度。其他类比如“巴黎:法国::东京:? ”，向量运算得出“日本”。这些向量空间中，词义相似度可通过余弦相似度计算，使得“猫”和“ feline ”的向量接近，而“猫”和“汽车”的向量远离。

Word2Vec 的成功揭示了关键洞见：词汇的语义由其分布决定（Harris, 1954的分布假说）。一个词的意义在于它周围出现的词。通过在大规模语料上训练预测上下文任务，模型被迫学习词汇的分布特性，从而捕获语义。词嵌入将离散符号映射到连续向量空间，实现了表示学习（Representation Learning） ——模型自动学习数据的有用表示，而非依赖人工特征工程。

为什么表示学习是转折点？

表示学习之所以成为大模型时代的基石，原因有三：

1. 语义的几何化：词嵌入将抽象的语义关系转化为向量空间中的几何操作（加减、最近邻）。这使得语义推理变得可计算，机器首次拥有了一种“语义代数”。

2. 泛化能力的飞跃：基于规则和统计方法面对未登录词（Out-of-Vocabulary, OOV）时完全失效。而词嵌入通过向量相似性，可以对未登录词进行一定程度的语义猜测（如通过子词或上下文）。更重要的是，嵌入空间是连续的，相似的词在空间中邻近，使得模型能对未见组合做出合理推断。

3. 迁移学习的起点：预训练的词向量可以迁移到下游任务（如情感分析、命名实体识别），只需添加一个简单分类层。这标志着NLP从“每个任务从头训练”转向“预训练+微调”范式，为后来的BERT、GPT铺平了道路。词嵌入成为最早的“预训练表示”，证明了从无监督数据中学习通用表示的可行性。

然而，Word2Vec 仍有限制：它是静态的——每个词无论上下文都只有一个向量。例如，“bank”在“river bank”和“bank account”中含义不同，但 Word2Vec 只能输出一个混合向量。此外，它仅学习词级别表示，无法直接处理句子或篇章。这些局限呼唤着更强大的上下文相关表示学习，而这正是Transformer架构的用武之地。

---

技术土壤的成熟：为何大模型在此时诞生？

回顾从ELIZA到Word2Vec的历程，我们看到一条清晰的演进脉络：从人工规则的 brittle 系统，到统计方法的概率建模，再到神经网络驱动的表示学习。每一阶段都为下一阶段奠定基础，而Word2Vec所开启的表示学习革命，直接孕育了大规模预训练语言模型。但为何这一革命在2010年代中期才结出GPT、BERT等果实？技术土壤的成熟需要三个条件的汇聚。

算力革命：GPU与大数据

2006年后，GPU的通用计算能力被发掘（尤其是NVIDIA的CUDA平台），深度学习训练速度提升数十倍。同时，互联网产生了海量文本数据：维基百科、网页爬虫、电子书、社交媒体……这些无标签文本成为训练大模型的燃料。统计方法时代受限于内存和计算，无法处理超大规模n-gram；而神经网络在GPU上可并行化，能够消化TB级数据。

架构演进：从循环到注意力

早期神经语言模型依赖RNN/LSTM，但序列训练难以并行，长距离依赖仍存在问题。2017年，Google的《Attention Is All You Need》论文提出Transformer架构，完全基于自注意力机制（Self-Attention） ，实现了并行计算和全局依赖建模。Transformer的“注意力”允许序列中任意位置直接交互，完美捕捉语言的长程结构。这一架构成为GPT和BERT的共同骨架。

预训练范式的确立

Word2Vec展示了预训练词向量的价值。2015年，词嵌入预训练已成为NLP标准流程。研究者自然追问：能否预训练整个句子或篇章的表示？2018年，两篇论文同时提出基于Transformer的预训练语言模型：

• **BERT**（Bidirectional Encoder Representations from Transformers）：使用Transformer编码器，通过掩码语言建模（Masked LM）预训练，擅长理解任务。
• **GPT**（Generative Pre-trained Transformer）：使用Transformer解码器，通过自回归语言建模预训练，擅长生成任务。

两者都继承了表示学习的核心思想：通过无监督预训练（预测下一个词或掩码词）学习通用语言表示，再通过有监督微调适应具体任务。但它们的规模远超以往：参数从百万级跃升至亿级、千亿级，训练数据从GB级到TB级。这得益于算力、数据和架构的成熟。

---

承前启后：从语言模型到世界模型

本章追溯的漫长跋涉，最终将我们带到2018年的十字路口。GPT和BERT的出现并非横空出世，而是数十年积累的必然产物。ELIZA展示了对话的幻觉，统计方法量化了语言的概率本质，Word2Vec证明了语义可被几何化，Transformer提供了可扩展的架构。大模型时代的真正启示在于：当表示学习与足够大的模型、足够多的数据相遇时，语言模型开始涌现出前所未有的能力——包括推理、指令遵循，甚至某种程度的“世界知识”。

然而，序章的结束也是疑问的开始。这些模型真的“理解”语言吗？它们学到