序章：机器如何‘读懂’世界——自然语言处理的范式革命

当我们谈论人工智能“理解”语言时，我们实际上在探讨一个根本性问题：机器如何跨越符号与意义之间的鸿沟？人类语言并非简单的符号序列，它是一个充满歧义、依赖海量上下文、并承载着文化、情感与意图的复杂系统。一个词的意义在“他打了篮球”与“他打了人”中天差地别；一句话的弦外之音，往往比其字面意思更为重要。这种复杂性，曾让机器处理语言的任务显得近乎徒劳。然而，过去二十年间，自然语言处理领域经历了一场深刻的范式革命，其轨迹清晰而有力：从依赖人类专家手工制定的 brittle（脆弱）规则，到基于大规模统计的“数字直觉”，最终演进到以神经网络为基石、以“表示学习”为核心的全新范式。这场革命的核心，始于一个看似简单却极具穿透力的思想——我们能否将人类语言中那些抽象、模糊的词语和概念，转化为计算机能够高效运算的、有意义的数字向量？这个问题的解答，不仅为深度学习叩开了语言世界的大门，更埋下了催生如今大语言模型的种子。本章将系统梳理这一演进历程，聚焦于从离散符号到连续向量的关键一跃，并剖析序列模型的内在局限，从而引出对一种全新、高效、能并行捕捉全局依赖的架构的迫切需求，这正是Transformer诞生的历史必然。

---

一、 人类语言的本质：给机器出的“世界级难题”

在深入技术演进之前，我们必须首先理解对手的威力。人类语言的特殊性，构成了机器“读懂”世界的第一个，也是最大的障碍。

1.1 歧义性：一词多义与结构歧义 语言的歧义无处不在，主要分为两类：

• **词汇歧义**：一个词拥有多个不相关的含义。最经典的例子是英文单词 "bank"，它既可以指“银行”，也可以指“河岸”。中文的“打”字更是集大成者：“打人”（攻击）、“打水”（汲）、“打毛衣”（编织）、“打酱油”（路过），其含义几乎完全依赖上下文。
• **结构歧义**：相同的词序可以构成不同的语法结构。英文句子 "I saw the man with the telescope" 可以理解为“我用望远镜看到了那个人”，也可以理解为“我看到了那个拿着望远镜的人”。中文的“进口彩电”可以是“进口的彩电”，也可以是“进口（动词）彩电”。这种结构上的不确定性，使得基于固定语法规则的解析变得困难重重。

1.2 长程依赖与上下文 语言的真正含义极少孤立存在于单个词或相邻词组中，而是依赖于可能跨越数句甚至数段的遥远上下文。代词指代（“他”、“它”、“这”）是最直观的例子。理解“小明告诉小华，他的成绩很好”中的“他”指代谁，需要回溯并整合前文信息。更微妙的是篇章连贯性、逻辑关系和情感基调，这些“全局信息”对于准确理解至关重要。传统的局部模型（如n-gram）对此无能为力。

1.3 非语言因素：世界知识、意图与情感 人类对话大量依赖共享的“常识”和具体情境。当有人说“房间真冷”，其真实意图可能是“请关窗”或“请开空调”。机器如果没有关于“冷”与“温度调节”之间关联的世界知识，以及识别言外之意的能力，就无法做出恰当回应。情感更是语言的灵魂，同样的句子用不同语气说出，意义可能截然相反。这些因素高度抽象，难以用明确的规则或简单的统计模式捕获。

1.4 开放性与动态演化 语言是一个活的、不断演化的系统。新词（如“内卷”、“元宇宙”）、新用法（如“种草”、“栓Q”）层出不穷，旧词的含义也可能漂移。任何试图穷尽所有可能性的静态系统，从诞生之日起就在过时的路上。

正是这些特性，使得将语言处理任务简化为“模式匹配”或“符号操作”的传统思路举步维艰。计算机擅长处理精确、无歧义的数据，而人类语言恰恰是其反面。这场革命的起点，就是寻找一种能将语言“驯化”为计算机可处理形式的方法，而词向量技术，正是那把关键的钥匙。

---

二、 范式一：基于规则的系统——符号主义的荣光与局限 (1950s-1980s)

自然语言处理最早期的努力，深深植根于符号主义人工智能的思潮。其核心信念是：人类智能（包括语言能力）的本质是符号操作，只要为机器提供足够详尽的语法规则和语义规则，它就能像人一样理解和生成语言。

2.1 核心思想与代表技术

• **语法分析**：构建详尽的语法规则库（如上下文无关文法CFG），通过**句法分析器**（Parser）将句子解析成**句法树**（Parse Tree）。例如，句子“The cat chased the mouse”会被解析为`[S [NP The cat] [VP chased [NP the mouse]]]`。这被视为理解句子结构的基础。
• **语义分析**：在句法结构基础上，通过预定义的语义规则将结构映射到逻辑形式（如一阶谓词逻辑）。例如，将“chased”映射为一个`Chase(agent, patient)`的谓词。
• **知识库与推理**：将语义表示与庞大的结构化知识库（如WordNet，一个英语词汇数据库）进行关联，并利用逻辑推理引擎进行推理，以解决歧义、进行问答等。

2.2 成就与典型案例 这一时期最著名的成功案例是ELIZA（1966，Joseph Weizenbaum），一个模拟罗杰斯心理治疗师的简单聊天程序。它通过模式匹配（如将“我感到...”匹配为“为什么您感到...”）和替换，制造出“理解”的假象。另一个里程碑是SHRDLU（1970，Terry Winograd），它在一个受限的“积木世界”中，能理解并执行复杂的自然语言指令，如“把红色的方块放到蓝色方块上”。这些系统在高度受限的领域（封闭世界、有限词汇、固定语法）内展现了令人印象深刻的交互能力。

2.3 根本性局限

• **知识工程瓶颈**：构建和维护覆盖自然语言现象的庞大规则库是一项浩大、昂贵且极易出错的人工工程。语言规则的复杂性呈指数级增长，且规则之间常产生冲突。
• **脆弱性与缺乏泛化能力**：系统对输入极其敏感，任何不符合预设规则的表达（如语序微调、同义替换）都可能导致失败。无法处理训练时未见过的句子结构。
• **无法处理歧义与不确定性**：规则系统追求精确匹配，而语言本身充满概率性。面对现实世界中无休止的歧义，硬性的规则要么导致系统僵化，要么需要引入极其复杂的消歧规则，这几乎不可行。
• **难以融入世界知识**：如何将人类海量、模糊、非结构化的常识编码成机器可用的逻辑规则，是一个近乎不可能的任务。

到1980年代末，基于规则的方法在应对开放域、真实世界的文本时，性能达到瓶颈，发展陷入低潮。人们开始反思：是否必须由人类专家“教”计算机每一条语法？机器能否从海量数据中自己“学会”语言的规律？

---

三、 范式二：统计机器学习——数据驱动的“数字直觉” (1990s-2010s)

统计方法的兴起，标志着NLP从“知识驱动”向“数据驱动”的范式转变。其核心思想是：与其费力地编写规则，不如让机器从海量文本语料库中自动学习统计规律。语言被视为一个概率生成过程，处理任务（如翻译、词性标注）被重新定义为寻找最可能的输出序列。

3.1 核心思想：基于概率的序列建模 给定一个输入句子 $X = (x_1, x_2, ..., x_n)$，NLP任务的目标是找到一个输出序列 $Y = (y_1, y_2, ..., y_m)$，使得后验概率 $P(Y|X)$ 最大： $$ \hat{Y} = \arg\max_Y P(Y|X) $$ 利用贝叶斯公式，可转化为： $$ \hat{Y} = \arg\max_Y P(X|Y) P(Y) $$ 其中 $P(Y)$ 是语言模型（Language Model），衡量输出序列本身的合理性；$P(X|Y)$ 是翻译模型或生成模型，衡量输入输出之间的对应关系。这一框架统一了机器翻译、语音识别、词性标注等众多任务。

3.2 关键技术与代表模型

• **n-gram 语言模型**：这是统计NLP的基石。其核心假设是：一个词的出现概率只依赖于它前面的 $n-1$ 个词（马尔可夫假设）。

$$ P(w_t | w_{t-1}, ..., w_{t-n+1}) \approx P(w_t | w_{t-1}, ..., w_{t-n+1}) $$ 通过统计大规模语料中n-gram序列的频率来估计概率。虽然简单，但能捕捉局部的词语搭配习惯。然而，它面临数据稀疏问题：绝大多数可能的n-gram在训练语料中从未出现，导致概率估计为零或不可靠。解决方法是平滑技术（如加一平滑、Kneser-Ney平滑），将未出现n-gram的概率微调分配。

• **统计机器翻译（SMT）**：以**IBM Models 1-5**和后来的**短语-based SMT**为代表。其核心是建立“翻译模型”（词/短语对齐概率）和“语言模型”（目标语言流畅度）的联合概率。解码时，在巨大的搜索空间中寻找使两者乘积最大的译文。SMT在2010年代曾是机器翻译的主流，但其性能严重依赖于对齐质量、短语表大小和语言模型，且难以处理长距离词序调整（如中英间语序差异）。
• **条件随机场（CRF）**：用于序列标注任务（如词性标注、命名实体识别）。它是一种判别式概率图模型，直接对条件概率 $P(Y|X)$ 建模，能有效利用输入序列的全局特征进行联合解码，避免隐马尔可夫模型（HMM）等生成式模型的独立性假设限制。

3.3 范式进步与遗留挑战 统计方法无疑是巨大的进步：它将语言处理问题明确定义为数学优化问题，使系统性能可以客观评估（如BLEU分数）；它充分利用了互联网时代爆发的文本数据，性能随数据量增长而提升；它具备一定的泛化能力，能处理训练数据中未精确出现但统计规律相似的输入。

然而，其根本缺陷同样致命：

• **特征工程的“新瓶颈”**：虽然不需要编写语法规则，但需要人工设计大量的**特征函数**（如“当前词是否是专有名词”、“前一个词是否是动词”等）。设计有效特征仍需深厚的领域知识，且特征组合爆炸。
• **稀疏性与表示贫乏**：词仍然是离散的符号（如one-hot编码）。模型学习的是词与词之间的**表面共现统计**，而非深层的语义和语法相似性。“汽车”和“轿车”在统计空间中可能距离很远，尽管它们语义相近。模型无法获得“国王 - 男人 + 女人 ≈ 女王”这样的向量运算能力。
• **无法有效建模长程依赖**：n-gram的马尔可夫假设强制限制依赖窗口；CRF虽然能利用全局特征，但其特征通常设计为局部或浅层的，对跨越多个词的复杂依赖（如主谓一致跨越修饰语）建模能力有限。
• ** pipelines 与误差传播**：复杂的NLP任务（如SMT）通常需要多个子模块（分词、词性标注、对齐、翻译、重排序）串联，每个模块的错误会传递并放大到下一阶段。

统计方法将NLP从“手工规则”的泥潭中拉出，但将其推入了“特征工程”的新泥潭，并因其离散符号表示的先天不足，始终无法触及语言深层的、分布式的语义结构。一场关于“表示”本身的革命，正在酝酿。

---

四、 关键一跃：词向量与分布式假设——将词语“坐标化”

真正开启现代NLP大门的，是将词语从离散的符号ID，映射为稠密、连续、低维的实数向量（通常50-300维）。这一思想源于语言学中的分布式假设（Distributed Hypothesis）：“You shall know a word by the company it keeps.” （词由其上下文决定。） 这一由Firth提出的观点，在神经网络时代找到了完美的实现载体。

4.1 从One-Hot到稠密向量：表示学习的革命

• **One-Hot编码**：传统方法。词汇表中每个词对应一个维度，向量仅在该词对应位置为1，其余为0。例如，词汇表{“猫”，“狗”，“汽车”}，“猫”表示为 `[1, 0, 0]`。这种表示：
• **维度灾难**：词汇表巨大时（如10万词），向量维度极高。
• **正交且稀疏**：任意两个词的向量点积为零，完全无法表达任何相似性。所有词在向量空间中“等距”。
• **稠密词向量（Word Embedding）**：每个词被映射为一个稠密向量，如 `[0.23, -0.56, 0.87, ..., 0.12]`。向量空间的几何关系（如方向、距离）被赋予了语义含义。关键突破在于：**语义相似的词，其向量在空间中距离相近**。这使得计算机第一次获得了“理解”词语关联的数学基础。

4.2 两大里程碑：Word2Vec与GloVe 这两种方法从不同角度实践了分布式假设，但殊途同归。

Word2Vec (2013, Mikolov et al.) 这是一种高效训练词向量的浅层神经网络模型，包含两种架构： 1. CBOW (Continuous Bag-of-Words)：用目标词周围的上下文词向量（平均或拼接）来预测目标词。 ```mermaid graph LR C1[上下文词1] --> E[嵌入层] C2[上下文词2] --> E C3[上下文词3] --> E E --> S[求和/平均] S --> P[投影层] P --> O[输出层<br/>Softmax over 词汇表] O --> T[目标词] ``` 2. Skip-gram：用目标词向量来预测其周围的上下文词。这在处理低频词和大型语料时通常表现更好。 ```mermaid graph LR T[目标词] --> E[嵌入层] E --> P[投影层] P --> O[输出层<br/>Softmax over 词汇表] O --> C1[上下文词1] O --> C2[上下文词2] O --> C3[上下文词3] ``` *训练目标*：最大化上下文窗口内词对的联合概率。由于输出层需要对整个庞大词汇表做Softmax，计算成本高。其创新在于提出了负采样（Negative Sampling） 和层次Softmax（Hierarchical Softmax） 等近似优化技巧，使训练能在数十亿词的语料上高效进行。

GloVe (Global Vectors, 2014, Pennington et al.) GloVe则走了一条不同的路：直接利用全局的共现统计信息。 1. 构建一个词-词共现矩阵 $X$，其中 $X_{ij}$ 是词 $j$ 出现在词 $i$ 上下文中的次数。 2. 设计一个加权最小二乘损失函数，目标是学习词向量 $w_i, \tilde{w}_j$，使得它们的点积 $w_i^T \tilde{w}_j$ 尽可能等于它们共现概率的对数 $\log X_{ij}$： $$ J = \sum_{i,j=1}^{V} f(X_{ij}) (w_i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij})^2 $$ 其中 $f$ 是一个加权函数，用于处理频繁共现词对（如“的”、“是”）和稀有词对的不同重要性。 3. 通过求解这个全局优化问题得到词向量。

对比与融合：

• Word2Vec是**局部窗口预测**模型，关注局部上下文统计。
• GloVe是**全局矩阵分解**模型，直接拟合全局共现统计。

实践表明，两者在大多数任务上性能相当。GloVe的数学形式更清晰，而Word2Vec的负采样在训练超大规模数据时更具灵活性。它们共同证明了：仅从无监督的文本共现信息中，就能学习到富含语义和句法的词表示。

4.3 词向量的“涌现”能力：语义的几何化 训练良好的词向量空间展现出惊人的线性代数性质，最著名的例子是类比推理： $$ \text{vector(“国王”) - vector(“男人”) + vector(“女人”)} \approx \text{vector(“女王”)} $$ $$ \text{vector(“巴黎”) - vector(“法国”) + vector(“德国”)} \approx \text{vector(“柏林”)} $$ 这表明模型捕捉到了“性别”和“首都-国家”这类抽象关系，并将它们编码为向量空间中的平移不变性。此外，通过向量运算可以进行词聚类（如“苹果”、“香蕉”在空间中接近），通过最近邻搜索找到同义词或相关词。词向量第一次将语言的语义关系，转化为了可计算、可度量的几何关系，这是表示学习的巨大胜利。

4.4 局限：静态与孤立的表示 尽管革命性，Word2Vec/GloVe生成的词向量仍有根本局限：

• **静态性**：一个词（如“苹果”）无论出现在“吃苹果”还是“苹果公司”，其向量表示都是**唯一固定**的，无法捕捉一词多义。
• **非上下文相关**：每个词有且仅有一个向量，像一个“词的身份证”，无法根据上下文动态调整其含义。
• **词汇表外（OOV）问题**：训练后词汇表固定，未登录词无法获得向量表示。
• **无法处理组合性**：对短语或句子的表示，通常只是其构成词向量的简单平均或拼接，这严重违背了语言的组合性原理（“红眼病”不等于“红”+“眼”+“病”）。

这些局限预示着下一个阶段：需要一种能根据上下文动态生成词表示的模型。而在此之前，还有一个关键的过渡：如何将词向量序列输入模型，以处理句子乃至篇章？这就引出了序列模型的时代。

---

五、 范式三：神经网络序列模型——循环的智慧与困境 (2000s-2017)

词向量提供了优质的“输入材料”，但语言是序列。如何将一系列词向量（一个序列）映射到另一个序列（如翻译结果）或一个标签（如情感分类）？循环神经网络（RNN）及其变体（LSTM， GRU）应运而生，成为处理序列数据的标准工具。

5.1 循环神经网络（RNN）：序列处理的朴素尝试 RNN的核心思想是循环连接与隐状态（Hidden State）。在每个时间步 $t$，它接收当前输入 $x_t$ 和上一个时间步的隐状态 $h_{t-1}$，计算当前隐状态 $h_t$ 和输出 $o_t$： $$ h_t = f(W_{xh} x_t + W_{hh} h_{t-1} + b_h) $$ $$ o_t = g(W_{ho} h_t + b_o) $$ 其中 $f$ 和 $g$ 是激活函数（如tanh, ReLU, Softmax）。隐状态 $h_t$ 充当了“记忆”，理论上可以容纳从序列开始到当前的所有历史信息。 ```mermaid graph LR subgraph “RNN 展开图” X1[x1] --> RNN1