序章：语言的机器——从规则到统计的漫长黎明

1950年10月，伦敦，一场后来被载入史册的对话正在上演。艾伦·图灵坐在计算机前，面对来自同事的提问，他必须证明机器能够思考。这不仅是图灵测试的雏形，更是人类对机器智能最原始的叩问：我们能否让机器理解语言？然而，当时的计算机连最简单的句子结构都难以解析，更遑论理解“理解”本身。在随后的七十年里，从规则的桎梏到统计的觉醒，从神经网络的萌芽到循环神经网络的巅峰，一代代研究者前赴后继，试图在0与1的代码世界中重建语言的灵魂。这是一部关于挣扎、突破与遗憾的史诗，而它的下一章，即将因“注意力”的登场而彻底改写。

语言的本质是离散符号的无限组合。人类孩童在三四岁时便能自然掌握语法规则，推断词语含义，甚至创造出从未听过的句子。但要让机器复制这一能力，却像在沙漠中建造巴别塔——每一步都伴随着理论断裂与工程崩溃。从1950年代到2010年代，自然语言处理（NLP）领域经历了三次范式转移：基于规则的系统试图用人工编写的语法覆盖语言的每一处缝隙，却败给了语言的灵活性与歧义；统计模型用概率取代逻辑，在数据中挖掘模式，却被数据稀疏性与长程依赖的深渊所困；神经网络引入了分布式表示与端到端学习，却受限于序列处理的固有瓶颈。每一次转移都伴随着希望的升起与幻灭，而所有路径最终都指向同一个核心矛盾：如何在计算可行的前提下，让机器捕捉语言中跨越长距离的依赖关系？ 这一矛盾在Transformer诞生前夜达到了顶峰，也成为整个序章必须解答的命题。

---

规则时代：语言的第一次数字化尝试

1954年1月，纽约罗切斯特大学，一场名为“乔治城-IBM实验”的演示震惊了公众。一台IBM 701计算机在短短几分钟内，将60句俄语句子翻译成英语。新闻稿宣称：“机器翻译的实现，预示着语言障碍的终结。”然而，只有参与其中的计算机科学家知道，这只是一个精心设计的舞台魔术。系统仅能处理250个俄语词汇和6条语法规则，例句被严格限定在“化学摘要”的狭窄领域。当有人尝试输入“The spirit is willing, but the flesh is weak”（心有余而力不足）时，系统将其直译为“The vodka is good, but the meat is rotten”（伏特加很好，但肉坏了）——这个经典笑话揭示了规则系统的致命伤：它们无法理解语境，只能进行生硬的符号替换。

规则系统的哲学基础源于逻辑学与语言学。20世纪50年代，诺姆·乔姆斯基的《句法理论要略》提出了生成语法，认为语言能力是人类与生俱来的普遍语法规则的应用。这一理论直接影响了早期的NLP研究者：如果人类通过内在规则生成语言，那么机器也可以通过外部规则模拟理解。由此，基于规则的自然语言处理应运而生，其核心是手工构建的语法规则库与词典。

语法解析：从上下文无关到语义网络

早期系统的核心任务是句法分析——将单词序列转换为树状结构，揭示主谓宾关系。1957年，Noam Chomsky的形式语言理论为这一工作提供了数学框架。上下文无关文法（CFG）成为主流工具，通过 productions 如 `S -> NP VP` 定义句子结构。研究者编写庞大的规则集，试图覆盖所有可能的结构变体。

一个里程碑是1970年特里·温诺格拉德（Terry Winograd）在MIT开发的 SHRDLU系统。它在一个名为“块世界”的虚拟环境中，通过自然语言指令操纵立方体、锥体等物体。当用户说“Pick up a red cube”，SHRDLU能解析指令，规划动作，并回答后续问题。SHRDLU的成功在于它将句法分析、语义解释和世界知识紧密结合：系统内置了一个微型物理世界模型，知道“红色”是颜色属性，“立方体”是物体类型，以及“拿起”需要物体在桌面上且手部空闲。这种深度集成使得SHRDLU能在有限领域内表现出近乎理解的对话能力。

然而，SHRDLU的“智能”完全依赖于其封闭的块世界。一旦离开这个微型宇宙，系统便立刻失语。温诺格拉德本人后来承认：“SHRDLU的聪明仅仅因为它被限制在一个极其简单的环境中。” 这揭示了规则方法的根本困境：知识表示的瓶颈。语言中的每一个概念都需要被精确定义，而概念间的关联则需要手工编码。一个“杯子”有形状、材质、用途，还能与“喝”“水”“热”等词语关联。为所有事物构建这样的知识网络，其工作量如同为宇宙编纂一部百科全书，且任何新概念的出现都要求规则库的更新——这在开放域中完全不可行。

模式匹配与早期对话系统

并非所有规则系统都追求深度理解。1966年，MIT的约瑟夫·魏岑鲍姆（Joseph Weizenbaum）开发了 ELIZA，一个模拟罗杰斯治疗师的程序。ELIZA的核心机制是模式-反应对：它扫描用户输入，匹配关键词（如“母亲”“父亲”），然后套用预设模板生成回应。例如，输入“My mother is sick”，匹配到“mother”后，可能回复“Tell me more about your family”。魏岑鲍姆本意是展示机器理解的 superficiality，却震惊地发现，许多用户向ELIZA倾诉了真实情感，即便被告知这是程序，仍不愿相信。

ELIZA的流行引发了一场关于机器智能的哲学辩论。1980年，约翰·塞尔（John Searle）提出“中文房间”思想实验：一个不懂中文的人通过规则手册处理中文符号，对外表现出理解中文的能力，但房间内并无真正的理解。这一论证直指规则系统的软肋——符号 grounding 问题：符号操作本身并不构成语义理解。ELIZA没有信念、欲望或对“母亲”的任何真实概念，它只是在执行字符串转换。

规则时代的高峰出现在1980年代，随着语义网络与框架理论的兴起。研究者试图用图结构表示知识：节点是概念，边是关系。例如，“猫-是-动物”，“动物-有-生命”。系统如 CYC 项目试图手工编码数百万条常识规则，期望机器通过推理获得智能。然而，CYC至今未能实现其最初愿景，因为常识的隐性、情境依赖性远超规则所能捕捉。你无法用规则穷尽“杯子通常用于喝水，但也可用作笔筒或花盆”的所有变体。

规则方法的系统性缺陷

规则系统的挣扎体现在三个不可调和的矛盾中：

1. 组合爆炸：语言的无限性源于有限规则的组合。但规则间的交互会产生意外冲突。例如，一个处理被动语态的规则可能与否定词规则发生交叉，产生“The cat was not chased by the dog”的歧义解析——是“猫没有被狗追”还是“狗没有被猫追”？手工调试所有边界情况如同西西弗斯推石。

2. 知识获取瓶颈：每增加一个新领域（如医学、法律），都需要语言学家与领域专家合作数月甚至数年，编写专用词典与规则。这种“知识工程”成本高昂且难以扩展。正如IBM的弗雷德·杰里尼克（Fred Jelinek）在统计革命时代所言：“每当我解雇一个语言学家，语音识别性能就提升一点。” 这句话虽显刻薄，却尖锐指出了规则方法的人力依赖之痛。

3. 鲁棒性缺失：规则系统对输入极其敏感。拼写错误、口语化表达、新词汇或方言都可能导致规则链断裂。而人类对话者会自然地填补信息、容忍错误、借助语境推断——这些能力在规则框架中几乎无法形式化。

到1980年代末，规则方法在语音识别、机器翻译等任务上已显疲态。研究者开始反思：是否必须由人类 explicit 地告诉机器“如何”理解语言？能否让机器从数据中“学习”语言的规律？ 这一转向为统计方法的崛起埋下了伏笔。规则时代虽然未实现通用语言理解，但它留下了一份宝贵遗产：对语言结构的深刻洞察，以及一系列形式化工具（如上下文无关文法、语义角色标注），这些工具在统计与神经网络时代以新的形式得以重生。

---

统计革命：概率的觉醒

1980年代末，IBM托马斯·J·沃森研究中心的一间会议室里，语音识别团队正在激烈争论。传统的基于规则的方法在连续语音识别上进展缓慢，错误率居高不下。研究员彼得·布朗（Peter Brown）提出一个激进想法：与其手工编写发音规则，不如让数据自己说话。 他将语言视为一个随机过程，每个词的出现在一定程度上取决于前面的词。这一思想标志着自然语言处理从“规则驱动”向“数据驱动”的根本转向，也开启了统计语言模型的黄金时代。

信息论的奠基与N-gram的兴起

统计方法的理论根源可追溯至克劳德·香农（Claude Shannon）1948年的里程碑论文《通信的数学理论》。香农将信息熵引入语言研究，指出语言的不确定性可以用概率量化。他著名的实验：让受试者预测英文句子中下一个词，发现人类实际上在进行概率推理——看到“The”后，“cat”比“quantum”更可能。这暗示语言本身具有统计规律。

基于这一洞察，N-gram模型成为统计语言模型的基石。N-gram假设一个词的出现概率仅依赖于前N-1个词，即马尔可夫假设。例如，二元模型（bigram）计算 $P(w_i | w_{i-1})$，三元模型（trigram）计算 $P(w_i | w_{i-2}, w_{i-1})$。概率通过大规模语料库中的频率计数估计：$$P(w_i | w_{i-1}) = \frac{\text{count}(w_{i-1}, w_i)}{\text{count}(w_{i-1})}$$

1990年，IBM的统计机器翻译团队（Brown, Cocke, Della Pietra等）发表了开创性论文《统计机器翻译的数学基础》。他们提出，翻译问题可视为寻找最可能的英语句子 $e$ 给定法语句子 $f$，即 $\arg\max_e P(e|f)$。利用贝叶斯定理，这转化为 $\arg\max_e P(f|e) P(e)$，其中 $P(e)$ 是语言模型（由目标语言语料训练），$P(f|e)$ 是翻译模型（由双语对齐语料训练）。这一框架将翻译拆解为可计算的概率问题，首次实现了端到端的统计优化。

N-gram模型迅速成为语音识别、机器翻译、拼写检查等任务的标配。1992年，卡内基梅隆大学的语音识别系统使用三元语言模型，将错误率降低了25%。其优势显而易见：无需手工编写规则，模型自动从数据中捕捉常见搭配。例如，在英语中，“strong tea”比“powerful tea”更常见，N-gram会自动给前者更高概率，而规则系统需要人工规定“strong修饰茶，powerful修饰机器”。

数据稀疏与平滑技术

然而，N-gram的马尔可夫假设也带来了根本局限：它只能捕捉短距离依赖。在句子“The cat, which I adopted from a shelter last winter, is now sleeping on the couch”中，主语“cat”与动词“is”相隔甚远，但N-gram（即使到5-gram）无法直接关联它们，因为中间插入了从句。更严重的是数据稀疏问题：语料库再大，也无法覆盖所有可能的词组合。一个在训练集中未出现的四元组，其频率计数为零，导致整个序列概率为零——这显然不合理。

为了解决零概率问题，统计语言学家发展了多种平滑技术。最简单的是加一平滑（Laplace smoothing），给所有计数加1：$$P(w_i | w_{i-1}, ..., w_{i-N+1}) = \frac{\text{count}(...) + 1}{\text{count}(context) + V}$$ 其中V是词汇表大小。但加一平滑在高维空间中过度分配概率给罕见事件。更精细的方法如Kneser-Ney平滑，它区分“单词出现频率”与“单词作为上下文出现的灵活性”，在低阶N-gram上回退，成为工业级系统的标准。这些技巧虽实用，却像是给漏水的桶打补丁——它们缓解症状，却未触及病根：模型容量不足与对长程依赖的漠视。

统计方法的哲学转向

统计革命的深层意义在于认识论的转变。规则时代假设语言存在一套普适的、可形式化的规则，人类语言学家的任务是发现并编码它们。统计时代则认为，语言的“规则”本质上是概率模式，可以从数据中归纳，无需人类先验知识。这种转变与当时认知科学的联结主义思潮相呼应：思维是大量简单单元（神经元）分布式激活的结果，而非符号操作。

但统计方法并非万能。它仍停留在浅层模式匹配层面。N-gram捕捉的是局部共现，而非语义。它知道“New York”常一起出现，却不知道“纽约”是城市；它能为“The stock market rose”分配高概率，却无法推断“rose”是动词“上涨”而非名词“玫瑰”。统计模型缺乏表示层次结构的能力——例如，理解“the cat on the mat”中“on the mat”修饰“cat”，而不仅仅是三个词的序列。

此外，统计方法高度依赖大规模标注数据。在1990年代，获取百万词级别的干净语料是巨大挑战。机器翻译需要平行语料（同一文本的两种语言版本），这类资源稀缺且昂贵。数据质量直接决定模型上限，而标注数据的成本成为扩展新领域、新语言的瓶颈。

到2000年代中期，统计方法在语音识别和机器翻译上取得实用成功（如Google翻译2006年上线），但性能逐渐触及天花板。研究者意识到：要真正理解语言，必须超越表面统计，学习分布式语义表示——每个词不再是one-hot向量，而是稠密向量，其几何关系编码语义。这一思想最终在神经网络语言模型中开花结果。统计革命虽然没有解决长程依赖问题，但它证明了数据驱动的可行性，并为下一波浪潮准备了核心工具：概率建模、大规模语料、以及以数据为中心的评估范式。

---

神经网络曙光：分布式表示的崛起

1990年代，当统计方法如日中天时，一个更激进的构想在地下悄然生长：用神经网络模拟大脑的神经元，让机器从原始数据中自动学习特征。这一想法在计算机视觉领域已初见成效（如LeCun的卷积网络用于手写数字识别），但在NLP中，序列数据的离散性与变长特性让神经网络难以施展。转折点出现在2003年，约书亚·

神经网络语言模型：稠密表示的黎明

2003年，蒙特利尔大学的一间办公室里，约书亚·本吉奥（Yoshua Bengio）与他的学生团队围在一台老旧的计算机前，屏幕上闪烁着一行行训练日志。他们即将发表一篇后来被引超过一万五千次的论文——《神经网络概率语言模型》（A Neural Probabilistic Language Model）。这篇论文看似 modest，却埋下了一颗改变世界的种子：它首次将神经网络与语言建模结合，用连续向量表示词语，开启了从离散符号到稠密空间的迁徙。然而，当时无人料到，这个方向将在十年后引爆一场革命。

本吉奥的动机直指统计语言的软肋：N-gram模型将每个词视为独立的符号（one-hot编码），无法捕捉语义相似性。例如，“猫”和“狗”在one-hot空间中正交，但人类知道它们是动物。本吉奥设想：如果每个词被映射为一个低维稠密向量（词嵌入），语义相近的词在向量空间中距离更近，那么模型就能更好地泛化到未见的词组合。

NNLM的架构在今日看来简单，但在当时却是大胆的尝试。模型包含四个部分： 1. 嵌入层：将词汇表中每个词 $w_i$ 映射为向量 $\mathbf{C}(w_i) \in \mathbb{R}^m$，其中 $m$ 是嵌入维度（如50）。 2. 上下文拼接：将前 $N-1$ 个词的嵌入拼接成一个大向量 $\mathbf{x} = [\mathbf{C}(w_{t-N+1}), ..., \mathbf{C}(w_{t-1})] \in \mathbb{R}^{(N-1)m}$。 3. 隐藏层：通过非线性变换 $\mathbf{h} = \tanh(\mathbf{Wx} + \mathbf{b})$ 学习上下文特征。 4. 输出层：计算下一个词的概率 $P(w_t | w_{t-1}^{t-N+1}) = \text{softmax}(\mathbf{Wh} + \mathbf{b}')$。

训练目标是最大化训练语料中所有词序列的似然：$$\mathcal{L} = \frac{1}{T} \sum_{t} \log P(w_t | w_{t-1}^{t-N+1}) + \lambda (\|\mathbf{W}\|^2 + \|\mathbf{C}\|^2)$$ 其中正则项防止过拟合。

NNLM的突破在于词嵌入的自动学习。模型不再依赖手工特征，而是从数据中优化出连续的表示空间。例如，在训练后，“king”与“queen”的向量差可能近似于“man”与“woman”的差——这种线性类比关系在 later 的Word2Vec中更为著名。然而，NNLM的计算成本极高：输出层需对词汇表所有词计算softmax，当时词汇表常达数万，每次前向传播都需全连接计算，训练一个模型需数周。这限制了其在大规模语料上的应用，也促使研究者寻找更高效的词表示学习方法。

Word2Vec：词嵌入的普及革命

2010年，Google的研究员托马什·米科洛夫（Tomas Mikolov）加入谷歌大脑团队。他面临一个 practical 问题：如何在万亿词级别的语料上快速训练词向量？传统的NNLM太慢，无法扩展。米科洛夫与同事提出两种新架构——连续词袋模型（CBOW） 与 Skip-gram，以及关键的负采样（Negative Sampling） 优化技术，彻底改变了词嵌入的生态。

CBOW用上下文词预测中心词：给定周围词 $w_{t-2}, w_{t-1}, w_{t+1}, w_{t+2}$，预测 $w_t$。Skip-gram则相反，用中心词预测上下文：给定 $w_t$，预测周围词。两者都简化了输出层：不再对所有词计算softmax，而是将问题转为多个二分类问题（真上下文 vs. 随机负样本）。

负采样是核心创新。原始softmax需计算词汇表所有词的概率，复杂度 $O(|V|)$。负采样改为：对每个正样本（真实上下文对），采样 $k$ 个负词（随机从词汇表抽取），优化目标为：$$\log \sigma(\mathbf{C}(w_O)^T \mathbf{C}(w_I)) + \sum_{i=1}^k \mathbb{E}_{w_i \sim P_n}[\log \sigma(-\mathbf{C}(w_i)^T \mathbf{C}(w_I))]$$ 其中 $\sigma$ 是sigmoid函数，$P_n$ 是负样本分布（通常设为词频的3/4次方，以平衡高频词）。这使训练复杂度降为 $O(k)$，$k$ 通常为5-20，速度提升百倍。

2013年，Google发布预训练的Word2Vec工具， instantly 引爆NLP社区。研究者上传自己的语料，几小时内即可获得高质量词向量。最令人震撼的是向量运算揭示的语义关系： $$\