序幕：从n-gram到神经网络——语言模型的千年等一回

人类语言的奥秘，自古以来便是智慧的巅峰挑战。从祭司解读神谕的颤音，到诗人吟诵史诗的韵律，我们总在试图捕捉那些飘忽不定的词句背后，是否隐藏着某种可被解析、甚至可被预测的规律。这种渴望，最终在二十世纪中叶，随着计算机的诞生，演变为一个极其硬核的科学问题：我们能否让机器学会“语言”？更进一步，我们能否让机器像人类一样，基于已有的文字，预测下一个最可能出现的词？这便是语言模型（Language Model, LM）这一概念的初心——一个看似简单却困扰了学界数十年的“千年等一回”的难题。它的演进史，并非一帆风顺的凯歌，而是一部充满“维度诅咒”的绝望、“梯度消失”的困顿，以及在绝境中不断萌发新希望、最终迎来“Attention Is All You Need”这一惊世宣言的跌宕史诗。本章，我们将拨开历史的迷雾，回顾这段从n-gram到神经网络的曲折征途，看清那些“前Transformer”时代的技术如何为后来的爆发埋下伏笔，理解为何2017年的那篇论文，是量变引发质变的必然，而非凭空而降的神迹。

---

**1.1 规则的黄昏：n-gram的荣光与“维度诅咒”的深渊**

在计算机刚刚学会“思考”的年代，人们首先想到的方案是“规则”。语言学家们呕心沥血，试图为语法、句法、语义建立一套完整的逻辑公理系统。然而，语言的灵活性、歧义性和文化隐喻性，让这套方法迅速碰壁。你几乎无法为“打翻酱油”和“打翻记录”中的“打”字分别写出不产生冲突的规则。规则之路，在开放域文本面前，近乎一条死胡同。

转机出现在统计学的光芒照进自然语言处理（NLP）领域。核心思想朴素而强大：一个词的出现概率，取决于它前面出现的词。这便是n-gram模型的基石，一种基于马尔可夫假设的简化——我们假设当前词只与它前面的 `n-1` 个词强相关，更远的历史可以被“遗忘”。例如，在二元模型（bigram，n=2）中，我们计算 $P(w_i | w_{i-1})$，即看到词 $w_{i-1}$ 后出现 $w_i$ 的概率。这可以通过在巨大语料库（如新闻文章、书籍）中计数统计得到：$P(w_i | w_{i-1}) = \frac{count(w_{i-1}, w_i)}{count(w_{i-1})}$。

n-gram模型在特定任务（如早期机器翻译、语音识别）上取得了令人振奋的成果，它让机器第一次基于数据而非规则，生成了看似合理的文本片段。它的成功，本质上是一种“暴力美学”与“局部记忆”的结合。然而，其辉煌之下，致命的阴影早已盘踞。

第一个致命伤：数据稀疏与“维度诅咒”。 语言是开放的，词汇表（Vocabulary）的规模可以轻松达到数十万甚至百万级。当n增大（比如从bigram到trigram），模型需要估计的联合概率数量会呈指数级爆炸。对于一个大小为 $|V|$ 的词汇表，n-gram模型需要估计的参数数量级约为 $|V|^n$。即使使用海量语料，绝大多数可能的n-gram序列在现实中从未出现过，导致其计数为零。这种“零概率问题”会直接摧毁模型生成连贯文本的能力——一旦遇到未登录的序列，概率骤降为零，整个句子的概率也就归零。

为了解决这个问题，研究者们发展了各种平滑（Smoothing）技术，如Add-one（拉普拉斯平滑）、Kneser-Ney平滑等。它们的核心思想是：从已知的、高频的n-gram概率中，“挤”出一点点概率 mass，分给那些从未见过的n-gram。这相当于给模型一种“谦逊”的默认信念：“虽然我没见过，但也许它有点可能发生。” 这确实缓解了问题，但本质上是一种“拆东墙补西墙”的权宜之计，并未触及模型表达能力的根本局限。模型仍然只是一个庞大的、静态的 lookup table（查表），它记忆了语料库中所有出现过的局部片段，却无法理解“片段”之间的深层联系。它不知道“国王”与“王后”的关系，与“男人”与“女人”的关系是类似的；它也无法进行需要长距离推理的简单逻辑：“虽然开头说‘虽然’，但结论应该在后面……”

第二个致命伤：无法捕捉长程依赖（Long-range Dependencies）。 这是n-gram模型的结构性缺陷。由于马尔可夫假设，模型的有效记忆长度被硬性限制在 `n-1` 个词。对于需要跨越数十甚至上百个词才能理解的语义关系（例如，代词“它”指代段落开头的主语，或者一篇文章的论点和结论在首尾呼应），n-gram模型完全无能为力。你无法用一个trigram模型去理解“我昨天买了本书，封面是蓝色的，它讲述了一个关于时间旅行的故事”中“它”与“书”的指代关系。这种对长距离信息的“失明”，使得n-gram模型在生成连贯、有逻辑的段落或篇章时，很快会陷入重复、矛盾或语义断裂的泥潭。

为了直观感受这种困境，我们可以构建一个简化的概念对比图：

```mermaid graph LR A[n-gram 模型<br>（如 trigram）] --> B[优势：<br>简单、高效、局部流畅] A --> C[核心缺陷：<br>维度诅咒 & 长程依赖缺失] B --> D[适用于：<br>短文本任务、输入法] C --> E[导致：<br>“宇宙爆炸”的参数空间<br>与“失明”的语义理解] ```

小结：n-gram时代，语言模型是一本辉煌而残缺的“局部词典”。它证明了统计方法的可行性，但其固有的“短视”与“膨胀”，为后续的变革埋下了最深刻的伏笔：我们需要的不是一个更大的查表，而是一种能动态地、有选择地关注上下文中所有相关信息的新机制。 神经网络，即将登场。

---

**1.2 神经网络的曙光：RNN与LSTM的“记忆”尝试**

1980年代，循环神经网络（Recurrent Neural Network, RNN） 的提出，为语言建模带来了革命性的思路：让网络拥有“记忆”。与处理固定大小输入的前馈神经网络不同，RNN的核心设计在于其循环结构。在时间步 $t$，网络的隐藏状态 $h_t$ 不仅取决于当前输入 $x_t$，还取决于上一个时间步的隐藏状态 $h_{t-1}$。用公式表达，就是 $h_t = f(W_{xh}x_t + W_{hh}h_{t-1} + b_h)$，其中 $f$ 是非线性激活函数（如tanh）。这种设计，理论上允许信息在序列中无限传递，从而突破了n-gram固定窗口的限制，为捕捉任意长度的依赖关系提供了可能。

RNN的语言建模应用通常采用序列到序列（Sequence-to-Sequence, Seq2Seq） 的方式：将前面的词依次输入网络，每个时间步的输出（经过一个Softmax层）可以解释为下一个词的概率分布。训练时，通过反向传播通过时间（Backpropagation Through Time, BPTT） 算法，将整个序列的损失函数反向传播，更新所有时间步共享的参数。

然而，理想丰满，现实骨感。RNN在实践训练中，遭遇了 notorious（臭名昭著）的 “梯度消失/爆炸”（Vanishing/Exploding Gradient） 问题。

问题根源：BPTT在反向传播时，需要链式求导，梯度会沿着时间步不断相乘。RNN的隐藏状态更新中，$h_t$ 依赖于 $h_{t-1}$，这意味着从 $h_t$ 回溯到 $h_{t-k}$ 的梯度，会涉及 $k$ 次权重矩阵 $W_{hh}$ 的连乘。如果 $W_{hh}$ 的特征值普遍小于1，连乘会导致梯度指数级衰减至接近零（消失）；如果普遍大于1，则梯度会指数级膨胀（爆炸）。对于长序列，梯度消失意味着模型无法将早期时间步的误差有效传递回早期参数，导致网络实际上只能学习到非常短期的依赖关系（几个时间步内），长程依赖依然无法被有效学习。这就像一个传话游戏，传到第十个人时，第一个人的原话早已模糊不清。

梯度爆炸相对容易处理（如梯度裁剪），但梯度消失则是根本性的训练障碍。RNN的潜力，被其自身的结构所困。

转机出现在1997年，长短期记忆网络（Long Short-Term Memory, LSTM） 由Hochreiter & Schmidhuber提出，并在后续由Gers等人完善。LSTM是RNN的一个精巧变体，其核心是设计了细胞状态（Cell State） $C_t$ 和三个门控机制（Gates）：遗忘门（Forget Gate）、输入门（Input Gate）、输出门（Output Gate）。

• **细胞状态** $C_t$：像一条贯穿时间的“信息高速公路”，它直接由上一个 $C_{t-1}$ 线性传递而来（通过逐元素操作），理论上可以无损地保留长期信息。
• **遗忘门** $f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$：决定从细胞状态中丢弃哪些信息（0到1之间的值）。
• **输入门** $i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$ 和候选细胞状态 $\tilde{C}_t = \tanh(W_C \cdot [h_{t-1}, x_t] + b_C)$：决定哪些新信息将存入细胞状态。
• **输出门** $o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$ 和隐藏状态 $h_t = o_t * \tanh(C_t)$：决定从细胞状态中输出哪些信息到隐藏状态。

其更新公式可概括为： $$ \begin{aligned} f_t &= \sigma(W_f \cdot [h_{t-1}, x_t] + b_f) \\ i_t &= \sigma(W_i \cdot [h_{t-1}, x_t] + b_i) \\ \tilde{C}_t &= \tanh(W_C \cdot [h_{t-1}, x_t] + b_C) \\ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \\ o_t &= \sigma(W_o \cdot [h_{t-1}, x_t] + b_o) \\ h_t &= o_t \odot \tanh(C_t) \end{aligned} $$

LSTM的魔力在于其门控设计： 1. 遗忘门允许模型有选择地“忘记”不相关的旧信息（例如，在讲述一个新故事时，忘记上一个故事的细节）。 2. 输入门允许模型有选择地“记住”新的关键信息。 3. 最重要的是，细胞状态 $C_t$ 的更新是累加式的（$C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t$）。如果遗忘门 $f_t$ 的值接近1，且输入门 $i_t$ 的值接近0，那么 $C_t \approx C_{t-1}$，信息可以几乎无损地跨越极长的时间距离。这为梯度提供了一个几乎恒定的传播路径，极大地缓解了梯度消失问题。

下图直观展示了LSTM单元内部信息流与门控作用：

```mermaid graph TD A[上一时刻<br>隐藏状态 h_{t-1}] --> D[遗忘门 f_t] A --> E[输入门 i_t] A --> F[输出门 o_t] B[当前输入 x_t] --> D B --> E B --> F D --> G[细胞状态 C_t<br>（选择性遗忘）] E --> H[候选细胞状态 \tilde{C}_t] H --> G[细胞状态 C_t<br>（选择性记忆）] G --> I[输出门 o_t<br>（选择性输出）] I --> J[当前时刻<br>隐藏状态 h_t] ```

LSTM在多项任务上（包括语言建模）显著超越了标准RNN。在经典的Penn Treebank语料库上，n-gram模型的困惑度（Perplexity，衡量语言模型好坏的核心指标，越低越好）通常在100-150之间；而LSTM模型可以将其降至60-70甚至更低，并且能生成更连贯、更具上下文相关性的文本。这标志着神经网络在捕捉长程依赖上取得了实质性突破。

然而，LSTM并非完美无缺的圣杯： 1. 计算效率低：其复杂的门控结构导致每个时间步的计算量远大于简单RNN，序列训练难以高度并行化，因为当前时刻的计算严格依赖上一时刻的隐藏状态。这限制了模型处理极长序列的能力和训练速度。 2. “记忆”仍有瓶颈：虽然LSTM理论上可以记忆更长距离，但在实践中，对于跨越数百个时间步的依赖，信息在传递过程中仍会逐渐衰减或扭曲。门控机制是“软性”的，它通过连续的数值（0-1）进行调节，而非绝对的开关，长期信息的保真度并非绝对可靠。 3. 结构未根本改变：它依然是一种顺序处理（Sequential Processing） 的模型。信息必须像水流一样，从序列第一个词一步步流到最后一个词。这种本质上的顺序依赖性，使得利用现代GPU的并行计算能力变得异常困难，成为训练速度和阿基米德支点。

LSTM及其近亲门控循环单元（GRU）在2010年代中后期统治了序列建模领域，它们是深度学习在NLP领域的奠基性贡献。但它们也清晰地勾勒出了下一阶段变革的边界：我们需要一种机制，它能像LSTM一样有选择地关注信息，但又能完全摆脱顺序计算的枷锁，实现真正的并行化，并拥有捕捉超长距离、更复杂依赖关系的能力。 这个机制，便是注意力（Attention）。而将注意力机制发挥到极致、并彻底抛弃循环结构的，正是2017年那篇划时代的论文。

---

**1.3 注意力的觉醒：从“隐式记忆”到“显性聚焦”**

在LSTM大行其道的同时，一个更早萌芽、却逐渐被忽视的思想——注意力机制，正在悄然积蓄力量。其核心思想朴素得令人惊讶：在解码（生成）某个部分时，我们不应该只依赖于编码器最后一个隐藏状态，而应该有选择地“回顾”编码序列中的所有部分，并赋予不同的权重。

这一思想在深度学习领域的正式登场，通常归功于2014年Bahdanau等人在机器翻译任务中提出的神经机器翻译（NMT） 模型。他们发现，传统的Seq2Seq模型（编码器RNN将整个输入句子压缩成一个固定长度的上下文向量 $C$，解码器RNN基于 $C$ 生成输出）存在严重的信息瓶颈。一个固定长度的向量，难以承载一段长句子的全部精髓，尤其是当句子结构复杂、信息密集时。

Bahdanau的解决方案是：在解码的每一步，不只看 $C$，而是计算注意力权重 $\alpha_{ti}$，表示在生成第 $t$ 个输出词时，应该对编码器的第 $i$ 个隐藏状态 $h_i$ 投入多少“注意力”。然后，将所有权重 $h_i$ 进行加权求和，得到一个动态的、针对当前生成步骤的上下文向量 $c_t = \sum_i \alpha_{ti} h_i$。这个 $c_t$ 与解码器的上一隐藏状态拼接后，共同用于预测当前词。

这相当于为解码器配备了一双动态的眼睛：在翻译“The cat sat on the mat”生成“猫”时，它的目光会聚焦在“The cat”上；生成“坐”时，目光会移到“sat”上。模型显式地学习该关注输入的哪一部分，从而有效缓解了信息瓶颈，尤其提升了长句翻译的质量。

这一机制的深远意义，在2015年“Show, Attend and Tell” 等图像描述生成工作中得到进一步彰显：模型在生成描述词“狗”时，其注意力热力图会精准地聚焦在图像中的狗身上。注意力，从一种提升序列到序列任务性能的技巧，升华为一种可解释的、人类认知般的聚焦行为。

然而，在Transformer诞生前，注意力始终是附加在RNN（或CNN）骨架上的“插件”。编码器通常仍是双向LSTM，用于提取输入序列的上下文表示；然后，在解码时，才使用注意力机制去查询这些表示。RNN/LSTM的“顺序计算”这座大山，依然压在整个架构的性能和扩展性之上。

关键的洞察：如果我们完全抛弃RNN/CNN，仅依靠注意力机制本身，能否构建一个强大的序列模型？ 答案，就藏在2017年Google Brain那篇题为《Attention Is All You Need》的论文中。它大胆地宣称：是的，完全可以。 并且，这种仅基于注意力的架构，在并行计算效率上，将实现对RNN/LSTM的降维打击。

---

**1.4 量变到质变：为何是2017年？**

将Transformer的诞生简单归因于“灵光一现”是不准确的。它是此前数年乃至数十年技术演进、算力积累和社区思潮共同作用的必然结果。

1. 注意力机制的成熟验证：如前所述，Bahdanau注意力、Luong注意力以及后续在图像、语音等领域的成功，已经证明了注意力机制作为一种通用、强大的信息聚合与路由方式的巨大潜力。社区不再视其为锦上添花的“小技巧”，而是看到了其成为模型核心的“大潜力”。

2. 对RNN/LSTM瓶颈的集体焦虑：到2015-2016年，尽管LSTM在诸多任务上刷新纪录，但其训练速度慢、难以并行、对超长序列处理吃力的问题日益凸显。研究者们积极寻求替代方案：卷积神经网络（CNN） 在序列任务上被重新审视（如ByteNet, ConvS2S），利用其天然的并行性，通过堆叠多层卷积来扩大感受野，尝试捕捉长程依赖。但CNN在捕捉序列中任意两点间的依赖时，所需层数随距离线性增长，效率不如注意力直接。RNN的“顺序诅咒”与CNN的“距离诅咒”，都指向一个需求：一种与序列位置无关的、能直接建模任意两点关系的原语。注意力，恰好就是这个原语。

3. 算力与数据的临界点：2016年前后，GPU集群的训练能力、大规模公开语料库（如Common Crawl）的可用性，达到了一个新高度。这允许研究者去训练更大、更深、参数更多的模型。而一个仅基于注意力、完全并行化的架构，理论上能更充分地榨干大规模算力的价值。RNN/LSTM的顺序性，成了利用海量数据与算力的主要障碍。

4. “自注意力”思想的萌芽：在《Attention Is All You Need》之前，已有工作（如Google的“Self-Attention”机制在机器阅读理解中的应用）探索了序列内部元素间的注意力（即Self-Attention），而非仅关注编码器-解码器之间。Self-Attention允许序列中的每个词直接与序列中所有其他词交互，计算其表示应如何从全局信息中重构。这是将注意力从“对齐工具”提升为“表示学习核心”的关键一步。

2017年，Google的研究团队将以上要素熔于一炉：**完全基于Self-Atte