当机器开始理解语言：NLP的漫长进化史

1954年1月，美国乔治城大学与IBM联合展示了一项令人惊叹的成果：一台IBM 701计算机在短短几分钟内，将60句俄语句子自动翻译成英语。这些句子仅限于政治、法律和科学领域，词汇表仅有250个单词。媒体头条欢呼“机器将取代翻译”，仿佛通用语言理解已触手可及。然而，仅仅十二年后，一份名为《语言与机器》的权威报告（ALPAC报告）给这场狂热泼了冷水，指出机器翻译“既不实用也不经济”，导致美国对自然语言处理（NLP）的资助骤减，领域陷入长达十余年的寒冬。这场起伏不仅揭示了技术乐观主义的局限，更埋下了一个根本性的追问：机器究竟如何才能理解人类语言？从符号逻辑的严密规则，到概率统计的Data-driven，再到神经网络的分布式表示，NLP的百年历程是一场与语言本质的持续对话，每一步都既是突破，也是新的困境。本章将回溯这条蜿蜒之路，从规则系统的黄昏、统计革命的曙光，到词向量与序列模型的挣扎，最终揭示为何Transformer的诞生并非偶然，而是所有前期探索共同指向的必然。

规则系统的黄昏：符号主义的辉煌与困境

NLP的起点，深深根植于符号主义人工智能的黄金时代。1950年代，受逻辑学和语言学理论启发，研究者们相信：人类语言的核心是规则——语法规则、语义规则、语用规则。只要将这些规则精确地形式化并编码到计算机中，机器就能像解析数学公式一样解析语言。这一时期的代表性系统，如Weizenbaum的ELIZA（1966）和Winograd的SHRDLU（1970），展示了符号系统在受限领域内的惊人能力。ELIZA通过简单的模式匹配和重写规则，模拟罗杰斯心理治疗师，与用户进行看似有意义的对话；SHRDLU则在一个虚拟的“积木世界”中，理解并执行关于物体位置、颜色的复杂指令，其背后是一套复杂的语法分析器和语义网络。这些系统证明了：在封闭、定义良好的小世界中，符号推理可以产生类人行为。

然而，当试图将规则系统扩展到开放、真实的语言环境时，困境接踵而至。首先，语言的天生歧义性让规则编写者疲于奔命。以经典句子“Time flies like an arrow”为例，仅三个词就产生多重解析：“Time”是名词还是动词？“flies”是名词（苍蝇）还是动词（飞）？“like”是介词还是动词？在中文中，“结婚的和尚未结婚的”同样需要依赖上下文才能确定“的”字结构所指。规则系统必须为每一种可能的歧义编写消解规则，而这些规则本身又可能相互冲突，导致系统脆弱且难以维护。其次，语言的创造性与无限组合性意味着，任何有限的规则集都无法覆盖所有表达。新词、新句式、俚语、隐喻不断涌现，规则系统需要持续人工更新，成本高昂且滞后。更根本的是，符号系统难以处理语言的“常识”和“隐含信息”。例如，“他关上门，房间里暗了下来”中，因果关系和物理常识无法通过简单语法规则推导。规则系统本质上是一种“手工特征工程”，它要求语言学家和计算机科学家深度合作，但人类语言的内在复杂性远超当时形式化手段的承载能力。

这一时期的标志性事件是1966年的ALPAC报告。这份由美国国家研究委员会发布的评估报告，系统审视了机器翻译等NLP项目的进展，结论令人沮丧：基于规则的系统在翻译质量、成本效益上远未达到实用标准，且“没有迹象表明，简单的规则扩展能带来根本性改进”。报告直接导致美国国防高级研究计划局（DARPA）等主要资助方大幅削减NLP预算，领域进入长达十余年的“AI寒冬”。然而，寒冬并非终点，它迫研究者反思：是否必须放弃“理解”的雄心，转而追求更务实、可量化的路径？统计方法的种子，正在这种反思中悄然萌发。

统计革命的曙光：从计数到概率

1980年代末至1990年代初，计算能力的提升和电子文本语料的可获得性，为NLP带来了一场静默的革命。研究者们开始意识到：与其依赖难以穷尽的规则，不如让数据自己说话。统计方法的核心思想是，将语言任务——如翻译、词性标注——转化为基于大规模文本数据的概率估计问题。语言不再是一套需要被解释的符号系统，而是一个可以被统计建模的概率分布。

这一变革的先锋是统计机器翻译（SMT）。1990年代，IBM的Thomas Brown团队发表了系列论文（IBM Models 1-5），奠定了SMT的基石。他们提出噪声信道模型：源语言句子 $f$ 被视作经过“噪声信道”扭曲后得到的目标语言句子 $e$。翻译任务即寻找最可能的 $e$：$\arg\max_e P(e|f)$。通过贝叶斯公式，转化为 $\arg\max_e P(f|e) P(e)$，其中 $P(e)$ 是目标语言模型，$P(f|e)$ 是翻译模型。这两个概率都通过从 bilingual 语料中统计计数来估计。例如，IBM Model 1假设每个目标词独立地由任意源词生成，通过期望最大化（EM）算法迭代学习词对齐概率。这标志着NLP从“如何写规则”转向“如何从数据中学习参数”。

支撑SMT乃至整个统计NLP的，是n-gram语言模型。n-gram基于一阶马尔可夫假设：当前词的出现概率仅依赖于前 $n-1$ 个词。其概率通过语料中的连续序列计数计算：$P(w_i | w_{i-n+1}^{i-1}) = \frac{C(w_{i-n+1}^{i})}{C(w_{i-n+1}^{i-1})}$。例如，三元模型（trigram）$P(\text{“deep”} | \text{“neural”}, \text{“network”})$ 可通过统计“neural network deep”在语料中的出现次数除以“neural network”的出现次数来估计。n-gram简单高效，但面临数据稀疏性的致命问题：对于任意长文本，大部分n-gram在训练语料中从未出现，导致概率为零。为缓解此问题，研究者发展了多种平滑技术，如加一平滑（Laplace smoothing）、Kneser-Ney平滑，将未出现n-gram的概率分配给更通用的低阶模型或保留一部分概率质量。

统计方法的优势立竿见影。在1990年代中期的机器翻译评测中，基于n-gram和SMT的系统首次在BLEU（Bilingual Evaluation Understudy）自动评测分数上超越了早期的规则系统。BLEU通过比较机器翻译与参考译文的n-gram重叠度来打分，其本身也是统计思维的产物：用可量化的指标取代主观的人工评估。到2000年代，SMT已成为机器翻译的主流，在WMT（Workshop on Machine Translation）等国际评测中持续进步。例如，2006年，基于短语的SMT系统（如Moses）将BLEU分数推至新高，翻译质量在特定领域（如新闻、科技文献）达到实用门槛。

然而，统计方法的局限性同样根深蒂固。n-gram的局部性假设使其只能捕捉窗口内的依赖，而语言的长程结构——如主语和谓语动词的一致性（“The cats *are* sleeping”中复数主语与复数动词的匹配）——往往跨越数词甚至数句，n-gram无能为力。稀疏性问题即使有平滑技术也仅能缓解，当语料规模有限或领域迁移时，模型性能骤降。更重要的是，统计模型本质上是一种“表面关联”建模，它关联词与词的共现频率，却难以触及语义和句法的深层结构。例如，在翻译“The spirit is willing but the flesh is weak”时，直译“精神是愿意的但肉体是弱的”虽符合字面n-gram概率，却丧失了“心有余而力不足”的成语含义。统计模型像一位精通表面语法但不懂内涵的速记员，能复述模式，却无真知。

词向量革命：Word2Vec如何重新定义语言

统计NLP的下一个里程碑，发生在2013年。当Tomas Mikolov及其在Google的团队发表《Efficient Estimation of Word Representations in Vector Space》（Word2Vec）时，他们并未意图解决NLP的所有问题，却意外地改变了语言表示的范式。在此之前，词在统计模型中的表示通常是one-hot向量：一个维度等于词汇表大小的超高维向量，对应词的位置为1，其余为0。这种表示有两个致命缺陷：一是维度灾难（词汇表常达数万甚至数十万），二是所有词在向量空间中相互正交，无法表达任何语义关系—— “猫”和“狗”的one-hot向量点积为零，尽管它们在语义上远比“猫”和“汽车”接近。

Word2Vec的核心洞见来自分布式假设（Distributed Hypothesis）：一个词的意义由其出现的上下文决定。如果两个词经常出现在相似的语境中，它们很可能具有相似的语义。基于此，Word2Vec设计了两种浅层神经网络架构，从大规模无标注文本中自动学习低维、稠密的词向量（word embedding）。连续词袋模型（CBOW） 通过上下文词预测中心词；Skip-gram模型则通过中心词预测上下文词。训练目标最大化上下文词的条件概率，同时使用负采样（Negative Sampling） 技巧大幅提升计算效率：将多分类问题转化为多个二分类问题（正样本为真实上下文词，负样本为随机采样的非上下文词），损失函数为： $$\log \sigma(v_w^T v_{w'}) + \sum_{w_i \in D} E_{w_i \sim P_n}[\log \sigma(-v_w^T v_{w_i})]$$ 其中 $v_w$ 是中心词向量，$v_{w'}$ 是上下文词向量，$\sigma$ 是sigmoid函数，$D$ 是负样本集合，$P_n$ 是噪声分布。

训练完成后，每个词被映射为一个数百维的实数向量（如300维）。奇迹发生了：向量空间展现出惊人的线性代数规律。最著名的例子是“king - man + woman ≈ queen”。向量运算“king - man”提取了“君主”的性别无关属性，加上“woman”后，结果向量在几何上最接近“queen”。类似地，“Paris - France + Italy ≈ Rome”。这表明词向量捕捉了类比关系。更广泛地，通过余弦相似度度量，向量空间中语义相近的词（如“星期二”与“星期三”、“快速”与“迅速”）距离更近。词向量首次将词汇的语义信息编码为可计算的几何结构，成为NLP的“通用语言”。

Word2Vec的影响是爆炸性的。它迅速取代one-hot成为所有神经NLP模型的输入层，并催生了后续的嵌入技术，如GloVe（基于全局共现矩阵）、FastText（考虑子词）。研究者还发现，在不同语料上预训练的词向量可迁移到下游任务（如情感分析、命名实体识别），只需在顶部添加少量任务特定层即可微调，这为后来的“预训练-微调”范式埋下伏笔。

然而，Word2Vec的局限同样明显。首先，它是静态的、上下文无关的：每个词只有一个固定向量，无论其多义性。“bank”在“river bank”和“bank account”中共享同一向量，无法区分河流与金融机构。其次，词汇表固定：未登录词（OOV）无法处理，尽管FastText通过子词部分缓解。最后，学习过程缺乏显式语法建模，词向量捕捉的是浅层语义共现，而非句法角色。这些局限指向一个更深层的问题：语言的意义高度依赖上下文，而Word2Vec的Skip-gram本质上仍是一种局部窗口统计，它没有为动态、多义、深层的语言表示提供框架。

序列模型的挣扎：RNN、LSTM与梯度消失

语言本质上是序列：词按顺序排列，构成短语、句子、篇章。理解语言需要建模序列中的依赖关系——远距离的主语-谓语一致、指代消解、篇章连贯。统计n-gram虽简单，但受限于固定窗口；词向量虽捕捉了词义，却未考虑序列顺序。因此，NLP需要能够处理变长序列、并捕获长期依赖的模型。循环神经网络（RNN） 及其变体，正是这一需求的直接产物。

RNN的核心思想是循环连接：隐藏状态 $h_t$ 在每一步接收当前输入 $x_t$ 和上一时刻隐藏状态 $h_{t-1}$，并输出当前状态。形式上：$h_t = f(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$，其中 $f$ 通常是tanh或ReLU。这个循环结构使RNN在理论上能记住过去所有时刻的信息。在序列任务中，如逐词预测下一个词（语言建模），RNN可将历史信息压缩到 $h_t$ 中。

然而，实践中的RNN迅速暴露出梯度消失（Vanishing Gradient） 问题。通过时间反向传播（BPTT）训练时，梯度需沿时间步反向传播，涉及多次乘以权重矩阵 $W_{hh}$ 的雅可比。若 $W_{hh}$ 的特征值小于1，多次连乘后梯度指数级衰减至零，导致早期时间步的权重几乎无法更新，网络无法学习长程依赖。反之，若特征值大于1，则梯度爆炸。尽管梯度裁剪等技术部分缓解爆炸，但消失问题在标准RNN中几乎不可避免。

1997年，Hochreiter和Schmidhuber提出的长短期记忆网络（LSTM） 成为里程碑。LSTM通过精妙的门控机制，设计了“细胞状态”（cell state） $c_t$ 作为信息传输的“高速公路”。三个门——遗忘门 $f_t$（决定丢弃哪些旧信息）、输入门 $i_t$（决定哪些新信息存入）、输出门 $o_t$（决定输出哪些信息）——协同控制信息流。关键公式： $$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$ $$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$ $$\tilde{c}_t = \tanh(W_c \cdot [h_{t-1}, x_t] + b_c)$$ $$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$$ $$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$ $$h_t = o_t \odot \tanh(c_t)$$ 其中 $\odot$ 表示逐元素乘法。细胞状态 $c_t$ 的更新是加法操作，梯度可沿此路径相对稳定地流动，有效缓解了梯度消失。LSTM在多项序列任务上显著优于标准RNN：在语言建模中，困惑度（perplexity）大幅下降；在序列标注（如命名实体识别）中，F1分数提升。

但LSTM并非完美解。首先，序列计算的固有缺陷：RNN/LSTM必须按时间步顺序处理，无法并行化。对于长序列（如文档、代码），训练速度慢，成为算力瓶颈。其次，长程依赖仍存挑战：尽管门控缓解了梯度消失，但信息需通过多个时间步的逐步传递，极长距离的依赖（如篇章级指代）仍可能衰减。实践中，LSTM在数百步后记忆效果显著下降。第三，模型容量与复杂度：LSTM参数多，训练不稳定，需精心调参。更重要的是，LSTM的“记忆”是被动的、隐式的，它通过内部状态累积信息，但缺乏对任意位置间直接关联的显式建模机制。

2014-2015年，门控循环单元（GRU） 作为LSTM的简化变体出现，合并门控以减少参数，但核心思想不变。同时，双向RNN/LSTM（BiRNN/BiLSTM） 成为标配：同时运行前向和后向RNN，拼接两个方向的隐藏状态，使每个时刻的表示能同时利用过去和未来信息。这在需要全序列上下文的任务（如词性标注）中效果显著，但代价是序列长度翻倍，并行难度更大。

RNN/LSTM的时代，是NLP在神经网络框架下探索序列建模的挣扎期。它们证明了神经网络能有效处理序列，并在许多任务上达到当时最优。但其顺序计算的本质，如同在一条漫长铁路上逐一检查每节车厢——即使车厢间有连接，信息传递也需一节一节传递，效率低下且远距离车厢关联微弱。当序列长度随互联网文本爆炸式增长（文档、对话、代码），这种“sequential bottleneck”成为制约性能的刚性天花板。突破的渴望，指向一个根本性问题：能否跳过逐步传递，让序列中任意两个位置直接建立关联？答案，藏在另一个被忽视的角落：注意力。

铺垫：为什么Transformer是必然？

从规则到统计，从静态词向量到循环网络，NLP的演进看似跳跃，实则连贯：每一次突破都是对前一种范式核心缺陷的针对性修补，而每一次修补都暴露出更深层的矛盾。规则系统无法应对语言的创造性与歧义，于是统计方法用概率拥抱不确定性；统计n-gram受限于局部窗口，于是词向量将词映射到连续空间，捕捉全局语义；词向量是静态的，无法处理多义与序列，于是RNN/LSTM引入循环以建模顺序依赖。然而，RNN/LSTM的 sequential computation 与长程依赖衰减，成为新瓶颈。所有路径最终汇聚到一个共识：语言理解的本质，是建立序列元素之间任意距离的、动态的、内容相关的关联。而现有架构，无论是统计的局部窗口，还是循环的逐步传递，都无法高效、直接地实现这一点。

注意力机制（Attention） 的兴起，正是对这一需求的回应。其思想最早出现在认知科学（人类视觉注意）和神经机器翻译（如Bahdanau等2015年的工作）。注意力允许解码器在生成每个目标词时，直接“关注”源序列的所有位置，并计算一个加权和作为上下文向量。权重由查询（query，当前解码状态）与键（key，源位置表示）的相似度决定，实现内容相关的动态加权。这使模型能灵活聚焦于相关源词，缓解了编码器必须将所有信息压缩到固定长度向量的信息瓶颈。注意力本质是一种可微的、数据驱动的关联机制，它不依赖于固定的顺序或窗口，允许任意两点间直接计算关联强度。

然而，早期注意力仍与RNN/LSTM耦合（如Seq2Seq with Attention），计算复杂度与序列长度平方相关，且受限于RNN的编码器。真正的解放，来自一个大胆的假设：如果注意力足够强大，能否完全取代循环，用纯注意力构建序列模型？ 2017年，Vaswani等人在论文《Attention Is All You Need》中给出了肯定答案。他们提出的Transformer架构，彻底摒弃了循环与卷积，仅依赖自注意力（Self-Attention） 和前馈神经网络构建。自注意力让序列每个位置都能直接与所有其他位置交互，一步到位捕获全局依赖；多头注意力则允许多个子空间并行学习不同类型关联。由于没有循环，Transformer可完全并行计算，训练速度大幅提升，且理论上能建模任意距离依赖。

Transformer的诞生，不是横空出世的奇迹，而是NLP百年探索的必然结晶。它整合了统计思维的概率建模（注意力权重本质是概率分布）、词向量的分布式表示（查询、键、值均为向量）、以及神经网络端到端学习的优势，同时规避了规则的手工缺陷、统计的局部性、循环的顺序瓶颈。其核心——注意力——正是对“如何建立元素间关联”这一根本问题的最优雅解答：用可学习的相似度函数，实现动态、全局、内容敏感的关联计算。

本章回溯的漫长进化史，实则是不断逼