NLP导论：从规则到深度学习的范式演进 / Introduction: From Rules to Deep Learning

自然语言处理（Natural Language Processing, NLP）作为人工智能的核心分支，致力于使计算机能够理解、生成和操作人类语言。从早期的规则驱动系统到当今的深度学习模型，NLP经历了深刻的范式演进，其应用已渗透到搜索引擎、智能助手、机器翻译等日常场景。本章将系统回顾这一演进历程，剖析三大技术范式的思想内核与代表性方法，并探讨NLP任务中的基础管道构建，为后续章节的深入学习奠定框架。

自然语言处理的定义与重要性

自然语言处理是计算机科学与人工智能领域的一个分支，它关注计算机与人类自然语言之间的交互。其核心目标包括语言理解（如语义分析、情感判断）和语言生成（如文本摘要、对话响应）。NLP的跨学科性质使其融合了语言学理论（句法、语义、语用）、计算建模（概率图模型、神经网络）和工程实践（系统优化、部署）。

在数据爆炸的时代，文本数据占据全球数据总量的80%以上（IDC, 2021）。社交媒体、新闻、学术论文、法律文档等非结构化文本蕴含巨大价值，但人工处理成本高昂。NLP技术通过自动化分析，赋能关键应用：

• **信息检索**：搜索引擎（如Google、Bing）利用查询理解、相关性排序提升结果质量。
• **机器翻译**：DeepL、Google Translate等系统打破语言壁垒，日均处理超千亿字符。
• **智能助手**：Siri、Alexa、小爱同学通过对话系统提供个性化服务。
• **内容分析**：情感分析用于品牌监控，主题模型挖掘学术趋势。
• **文本生成**：GPT系列模型撰写新闻、代码，甚至创作诗歌。

据Grand View Research预测，全球NLP市场规模将从2023年的约150亿美元增长至2030年的超500亿美元，年复合增长率达20%。这一增长驱动着技术持续创新，而范式演进正是创新的核心脉络。

范式一：符号主义与规则系统

核心思想：语言作为符号操作

符号主义（Symbolism）是NLP的早期范式，其哲学基础源于逻辑推理和形式语言理论。该范式假设自然语言可通过一套明确的规则（如语法、词典）完全描述，计算机只需执行符号匹配与转换。语言被视为离散符号的序列，处理过程是符号的机械操作，无需统计或学习。

代表性技术与案例

1. 正则表达式（Regular Expressions） 正则表达式是基于形式语言理论（Chomsky, 1956）的字符串匹配工具，用于描述文本模式。其核心是有限自动机（Finite Automaton）的等价表示。例如，提取电子邮件地址： ```regex [a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,} ``` 在Python中实现： ```python import re text = "联系我：alice@example.com 或 bob.smith@co.uk" emails = re.findall(r'[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}', text) print(emails) # 输出: ['alice@example.com', 'bob.smith@co.uk'] ``` 正则表达式在日志分析、数据清洗中仍广泛使用，但其局限性明显：难以处理嵌套结构（如HTML标签），且规则需手工编写，维护成本高。

2. 基于规则的句法分析 早期句法分析器（如Lunette、Fidditch）依赖上下文无关文法（CFG）。例如，一个简单CFG规则： ``` S -> NP VP NP -> Det N | N VP -> V NP Det -> "the" | "a" N -> "cat" | "dog" V -> "chased" | "sat" ``` 可生成句子"The cat chased the dog"。分析时使用自顶向下或自底向上解析算法（如CYK算法），时间复杂度为$O(n^3)$（n为词数）。但自然语言远超CFG的表达能力，需扩展为特征结构文法（如LFG、HPSG），规则复杂度指数增长。

3. 专家系统与聊天机器人 ELIZA（Weizenbaum, 1966）是早期符号主义代表，通过模式-响应脚本模拟罗杰斯心理治疗师。例如： ``` 用户: 我感到悲伤 ELIZA: 为什么你感到悲伤？ ``` 其核心是正则匹配与关键词替换，无真正理解。尽管简单，ELIZA揭示了人类对“智能”的易受骗性，也凸显了符号系统的脆弱性：无法处理未预见的输入，缺乏常识推理。

优缺点分析

优点：

• **可解释性强**：规则明确，决策路径透明，适合高可靠性场景（如医疗文本提取）。
• **无需训练数据**：依赖专家知识，在数据稀缺领域有优势。
• **确定性输出**：相同输入总得相同结果，易于调试。

缺点：

• **规则爆炸**：语言歧义和多样性导致规则数量剧增。例如，英语动词“run”有646种用法（WordNet），手工覆盖不现实。
• **维护成本高**：语言随时间演变（如网络新词），规则需持续更新。
• **泛化能力差**：无法处理规则外的表达，例如“把门打开”与“开门”语义相同，但模式不同。

符号主义在特定领域（如法律合同模板匹配）仍有价值，但通用NLP任务中已被数据驱动方法取代。

范式二：统计学习的兴起

核心思想：从数据中学习概率模型

20世纪90年代，统计学习范式取代符号主义，成为NLP主流。其核心思想是将语言处理转化为概率估计问题：给定观察文本，计算最可能的语言结构（如词性标签、翻译结果）。该范式依赖大规模语料库（如Brown语料、 Penn Treebank）和机器学习算法，强调从数据中自动学习模式，减少对人工规则的依赖。

代表性技术与案例

1. n-gram语言模型 n-gram模型基于马尔可夫假设：当前词的概率仅依赖于前n-1个词。句子概率为： $$P(w_1, w_2, ..., w_m) = \prod_{i=1}^m P(w_i | w_{i-n+1}^{i-1})$$ 其中$w_{i-n+1}^{i-1}$表示前n-1个词。参数通过最大似然估计（MLE） 从语料中计算： $$P(w_i | w_{i-n+1}^{i-1}) = \frac{count(w_{i-n+1}^{i-1}, w_i)}{count(w_{i-n+1}^{i-1})}$$ 例如，二元模型（bigram）计算“I love NLP”的概率： $$P(\text{I}) \times P(\text{love}|\text{I}) \times P(\text{NLP}|\text{love})$$

问题：数据稀疏导致未登录词（OOV）概率为零。常用平滑技术解决：

• **加一平滑（Laplace）**：所有计数加1，但高估低频词概率。
• **Kneser-Ney平滑**：基于低阶n-gram的折扣概率，更优。例如，对于trigram“New York Times”，若未出现，则回退到bigram“York Times”的上下文多样性。

n-gram在早期语音识别（如IBM语音系统）和机器翻译（IBM模型1-5）中关键。IBM模型4使用对齐模型和 fertility模型，将翻译视为词对齐的生成过程，通过EM算法估计参数。

2. 隐马尔可夫模型（HMM）与词性标注 词性标注（POS Tagging）是序列标注任务。HMM将其建模为隐马尔可夫过程：

• 隐状态：词性标签序列$T = t_1, t_2, ..., t_n$
• 观测序列：词序列$W = w_1, w_2, ..., w_n$

模型参数：

• 转移概率$A_{ij} = P(t_j | t_i)$：标签转移概率。
• 发射概率$B_{jk} = P(w_k | t_j)$：给定标签生成词的概率。
• 初始概率$\pi_i = P(t_i)$。

使用维特比算法求解最可能标签序列： $$\hat{T} = \arg\max_T P(T|W) = \arg\max_T P(W|T)P(T)$$ 其中$P(T) = \prod_{i=1}^n P(t_i|t_{i-1})$，$P(W|T) = \prod_{i=1}^n P(w_i|t_i)$。

经典工具如Brill标注器（规则+统计）在Penn Treebank上达96%准确率。HMM的局限性在于观测独立性假设（$P(w_i|t_i)$独立于其他词）和马尔可夫假设，后被条件随机场（CRF）取代，后者允许特征函数依赖整个序列。

3. 最大熵模型与支持向量机（SVM） 对于分类任务（如命名实体识别），最大熵模型（MaxEnt）在给定特征下选择最均匀分布： $$P(y|x) = \frac{1}{Z(x)} \exp\left(\sum_{i} \lambda_i f_i(x,y)\right)$$ 其中$f_i$为特征函数（如“当前词是‘北京’且标签为LOC”），$\lambda_i$为权重，$Z(x)$为归一化因子。通过L-BFGS优化对数似然。

SVM则寻找最大间隔超平面，适用于高维特征空间。在NLP中，特征工程至关重要：例如，为词性标注设计特征（前缀、后缀、相邻词等）。统计学习依赖特征工程，耗时且需领域知识。

优缺点分析

优点：

• **数据驱动**：性能随数据量增长而提升，覆盖更多语言现象。
• **可量化评估**：基于概率，易于在测试集上计算困惑度（Perplexity）、F1值等指标。
• **灵活性**：不同任务可共享框架（如HMM用于词性标注、命名实体识别）。

缺点：

• **特征工程瓶颈**：设计有效特征需语言学直觉，且特征间可能存在冗余。
• **数据稀疏**：即使n-gram，高阶模型仍需海量数据。低资源语言（如巴斯克语）表现差。
• **局部依赖**：HMM等模型难以建模长距离依赖（如主语-动词一致跨越多个词）。

统计学习范式在2010年前后达到顶峰，但特征工程的复杂性催生了自动特征学习的深度学习范式。

范式三：深度学习的革命

核心思想：端到端表示学习

深度学习范式（2013年至今）的核心是使用深层神经网络自动学习文本的分布式表示，无需手工特征。其基础是词嵌入：将词映射为稠密向量，相似词在向量空间中接近。关键突破包括：

• **词向量预训练**：从无标注文本学习通用表示。
• **序列建模**：RNN、LSTM、GRU处理变长序列。
• **注意力机制**：让模型聚焦相关部分。
• **Transformer架构**：完全基于注意力，并行高效。
• **预训练-微调范式**：大规模预训练后适应下游任务。

关键技术演进

1. 词嵌入：从Word2Vec到上下文相关 Word2Vec（Mikolov et al., 2013）提供两种训练目标：

• **Skip-gram**：给定中心词$w_c$，预测上下文词$w_o$：

$$P(w_o|w_c) = \frac{\exp(v_{w_o}^T v_{w_c})}{\sum_{w \in V} \exp(v_w^T v_{w_c})}$$ 其中$v_w$为词向量，$V$为词表。负采样（Negative Sampling）加速训练。

• **CBOW**：给定上下文预测中心词。

词向量捕捉语义类比（如“king - man + woman ≈ queen”），但为静态，一词一义。GloVe（Pennington et al., 2014）结合全局共现矩阵与局部窗口，优势在于利用全局统计。

2. 循环神经网络与长短期记忆 RNN通过隐藏状态$h_t = f(W_{hh}h_{t-1} + W_{xh}x_t + b)$处理序列，但梯度消失/爆炸问题严重。LSTM（Hochreiter & Schmidhuber, 1997）引入门控机制：

• 输入门$i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)$
• 遗忘门$f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)$
• 输出门$o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)$
• 候选记忆$\tilde{c}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)$
• 记忆细胞$c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$
• 隐藏状态$h_t = o_t \odot \tanh(c_t)$

LSTM在机器翻译、文本分类中表现优异，但序列计算仍慢。

3. 注意力机制与Seq2Seq 注意力（Bahdanau et al., 2015）允许解码器在生成每个词时关注输入序列不同位置。对于编码器隐藏状态$H = (h_1, ..., h_n)$，解码器在时刻t的注意力权重： $$\alpha_{t,i} = \frac{\exp(\text{score}(s_{t-1}, h_i))}{\sum_{j=1}^n \exp(\text{score}(s_{t-1}, h_j))}$$ 其中$s_{t-1}$为上一时刻解码状态，score函数可为点积、加性网络等。上下文向量$c_t = \sum_i \alpha_{t,i} h_i$，然后与$s_{t-1}$拼接生成输出。

Seq2Seq（Sutskever et al., 2014）将编码器最后状态作为上下文，但长序列信息压缩易丢失。注意力机制缓解此问题。

4. Transformer：自注意力革命 Transformer（Vaswani et al., 2017）完全摒弃RNN，依赖自注意力（Self-Attention） 和前馈网络。对于输入序列$X = [x_1, ..., x_n]$，每个头计算： $$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ 其中$Q = XW_Q$, $K = XW_K$, $V = XW_V$，$d_k$为缩放因子防止梯度消失。多头注意力并行多个头，捕获不同子空间信息： $$\text{MultiHead}(Q,K,V) = \text{Concat}(\text{head}_1, ..., \text{head}_h)W_O$$ $$\text{head}_i = \text{Attention}(QW_i^Q, KW_i^K, VW_i^V)$$

位置信息通过正弦位置编码或可学习编码添加。Transformer编码器层由多头注意力+层归一化+前馈网络+残差连接堆叠，解码器额外有掩码注意力防止信息泄漏。

5. 预训练语言模型

• **BERT**（Devlin et al., 2018）：双向Transformer编码器，预训练任务为**掩码语言模型（MLM）**（随机掩码15%词，预测原词）和**下一句预测（NSP）**。输入为`[CLS]` + 句子A + `[SEP]` + 句子B + `[SEP]`，`[CLS]`输出用于分类。BERT在GLUE基准上超越人类基线。
• **GPT系列**：单向自回归模型，GPT-3（Brown et al., 2020）达1750亿参数，通过**少样本学习（few-shot learning）** 无需微调即可执行任务。输入格式为任务描述+示例+待续写，模型生成答案。
• **T5**（Raffel et al., 2020）：将所有NLP任务统一为**文本到文本**格式，如翻译“translate English to German: Hello → Hallo”，预训练目标为**跨度掩码**（随机掩码连续文本片段，生成被掩码文本）。

优缺点分析

优点：

• **表示能力强**：深层网络捕捉复杂模式，词向量上下文相关（如“bank”在“river bank”和“bank account”中不同）。
• **端到端学习**：从原始文本到输出，减少流水线误差传播。
• **迁移学习**：预训练模型作为通用语言理解器，微调少量数据即可适应新任务，解决低资源问题。
• **性能卓越**：在机器翻译、问答、摘要等任务上达到人类水平。

缺点：

• **数据饥渴**：预训练需TB级文本（如GPT-3使用Common Crawl），能耗高（训练GPT-3耗电约190,000度）。
• **可解释性差**：黑盒决策，难以诊断错误，高风险领域（医疗、司法）应用受限。
• **偏见与伦理问题**：训练数据包含社会偏见（性别、种族），模型放大偏见（如“护士多为女性”）。
• **计算资源需求大**：推理需GPU/TPU，部署成本高。

深度学习是当前主流，但符号规则（如后处理约束）和统计思想（如概率解码）仍与之融合，形成混合系统。

NLP的核心挑战

尽管范式演进带来性能飞跃，NLP仍面临根本性挑战，源于语言本身的复杂性。

1. 歧义性（Ambiguity）

语言多义性贯穿各层级：

• **词义歧义**：如“bank”可指河岸或金融机构。**词义消歧（WSD）** 需利用上下文，但上下文窗口有限时仍困难。
• **句法歧义**：经典例子“I saw the man with the telescope”。介词短语“with the telescope”可修饰“saw”（我用望远镜看）或“the man”（那人带着望远镜）。依存分析需全局语义。
• **指代歧义**：代词“it”指代“trophy”还是“suitcase”？例：“The trophy didn't fit into the suitcase because it was too large.” 需常识推理：trophy通常比suitcase大，故“it”指trophy。当前模型（如BERT）在Winograd Schema Challenge上仅约70%准确率，远低于人类（94%）。

2. 多样性（Variability）

同一语义可有无限表达：

• 同义替换：“购买”可换为“买入”、“购得”、“下单”。
• 句式变换：主动句“猫追老鼠” vs 被动句“老鼠被猫追”。
• 非规范表达：社交媒体中“LOL”、“u”代替“you”、“酱紫”代替“这样子”。模型需鲁棒性，但训练数据多来自规范文本（如新闻），导致分布外（OOD）性能下降。

###