语言智能的兴起：从统计学习到大模型范式
语言智能之所以在近十余年出现“跃迁式”的进展，并非因为人类突然找到了某个全新的语言学规则，而是因为自然语言处理（NLP）的主导范式发生了结构性变化：从“手工规则”到“统计学习”，再到“深度学习与预训练”，最终汇聚为以大规模数据与计算驱动的“规模化训练（scaling）”路线。理解这条演进链条的意义在于：它不仅解释了大模型为何能在翻译、写作、问答、对话甚至代码生成等任务上呈现出近似通用的能力，也为工程实践提供了更可靠的指南——当模型能力的主要来源不再是任务特定技巧，而是来自通用的目标函数、数据分布与优化过程时，工程上的关键决策点将随之迁移。
本章将以“范式演进”为主线，完成三项任务：第一，回顾从规则系统、统计模型到预训练大模型的历史脉络，明确每一代方法解决了什么问题、又遗留下什么瓶颈；第二，建立本书统一的术语体系（语料、token、词表、上下文窗口、概率语言模型、生成式建模等），避免后续讨论在概念上含混；第三，给出一个可迁移的学习框架——“目标函数—数据—模型—优化—对齐—评测—部署—治理”，以便读者在面对不同模型与不同应用场景时，能够用同一套问题清单进行拆解、对比与决策。
1.1 规则系统：语言学知识的工程化尝试
1.1.1 从“写规则”到“写系统”
早期的NLP系统往往建立在显式规则之上：词法分析、句法分析、语义角色标注、指代消解等模块串联成流水线，再由专家制定大量规则处理歧义。例如，在信息抽取任务中，工程师可能编写“若出现某种触发词并满足某个依存结构，则抽取实体关系”的规则；在问答系统中，可能依赖模板匹配与知识库查询。
这类方法的优势在于可控性强、可解释性好：当系统输出错误时，往往能定位到某条规则或某个模块。然而，其根本性困难同样明显：
- **覆盖率问题**：自然语言具有开放性与创造性，规则难以穷举。
- **组合爆炸**：语言现象的组合空间极大，规则之间相互干扰，维护成本急剧上升。
- **域迁移困难**：跨领域、跨文体时，规则往往需要重写。
- **隐性知识缺失**：大量常识与语用知识难以形式化。
这些瓶颈推动了下一阶段：不再主要依赖人工编码知识，而是让模型从数据中学习规律。
1.1.2 规则系统的遗产
尽管规则系统在主流研究与产业中逐步退居次要地位，但它留下了两类重要遗产：
1. 结构化思维：将语言处理分解为可检验的子问题（分词、标注、解析等），对后续的评测与错误分析仍然关键。 2. 可控与治理需求：规则系统强调可控性，这一诉求在大模型时代以“对齐、安全、合规、审计”等形式回归，并成为部署阶段的核心约束（见§1.8）。
1.2 统计学习：从“知识工程”到“特征工程”
1.2.1 统计建模的基本观念
统计学习范式的核心，是把语言现象视为随机过程，并用概率模型描述“观察到的文本”出现的可能性。在这一阶段，NLP获得了更坚实的数学基础与可复现实验范式：统一的数据集、统一的评测指标、可比较的基线模型。
典型模型包括：
- **n-gram语言模型**：用有限上下文近似条件概率。
- **隐马尔可夫模型（HMM）**：用于词性标注、分词等序列标注任务。
- **条件随机场（CRF）**：在判别式框架下做序列建模，能更灵活地融合特征。
- **最大熵模型、SVM等**：用于文本分类、命名实体识别等。
以n-gram语言模型为例，其核心假设为马尔可夫性：当前词仅依赖前面有限个词： $$ P(w_{1:T})=\prod_{t=1}^{T}P(w_t \mid w_{t-n+1:t-1}) $$ 其中 $w_{t-n+1:t-1}$ 表示长度为 $n-1$ 的历史窗口。此类模型通常需要平滑（smoothing）来处理稀疏性，例如Kneser–Ney平滑等。
1.2.2 “特征工程”的兴起与上限
统计学习在工程上非常成功，但其性能强烈依赖人工设计特征（features）：词形、词性、上下文窗口、词典匹配、句法依存、字符模式等。特征工程的优点是可注入领域知识，但也带来明显上限：
- **特征难以穷尽**：语言现象复杂，靠人工组合难以覆盖长程依赖与隐含语义。
- **特征不可迁移**：换任务、换域往往需要重新设计。
- **分布稀疏不可避免**：即便有大量语料，手工离散特征仍会遭遇长尾问题。
统计学习阶段最终把问题推向一个更深层的瓶颈：能否让模型自动学习“表示”（representation），减少对人工特征的依赖？这引出了深度学习阶段的表示学习革命。
1.2.3 案例一：机器翻译的三次范式跃迁
机器翻译是观察范式演进的经典窗口，可粗略概括为三代：
1. 基于规则的翻译（RBMT）：依赖双语词典与句法规则，工程复杂且难覆盖。 2. 统计机器翻译（SMT）：以短语翻译模型、语言模型与解码器为核心，显著提升可用性，但系统由多个部件拼合，误差传播明显。 3. 神经机器翻译（NMT）：端到端训练（seq2seq+attention、Transformer），在主要语种对上取得显著优势，并在迁移与泛化上更稳健。
这一演进揭示了一个重要趋势：当目标函数与模型结构允许端到端地吸收更多数据时，系统性能往往能超越“拼装式模块”的上限。大模型范式正是这一趋势在更大尺度上的延续。
1.3 深度学习：表示学习与端到端建模
1.3.1 分布式表示：从词到句子
深度学习为NLP带来的首要改变，是将离散符号映射为连续向量表示（embeddings），并通过梯度下降在任务目标下自动学习表示空间。词向量（如word2vec、GloVe）证明了语义关系可在向量空间中被编码，从而为后续的神经网络模型提供了统一输入形式。
但早期词向量仍存在局限：它多为静态表示（同一词在不同语境下向量不变），无法表达多义词与上下文语义。为解决这一问题，研究逐步转向上下文相关表示与序列建模。
1.3.2 序列模型与注意力机制
循环神经网络（RNN/LSTM/GRU）曾长期主导序列建模，但在长序列上存在梯度消失与并行效率低的问题。注意力机制（Attention）的提出与普及，使模型能够直接“对齐”输入序列不同位置的信息，显著改善长程依赖建模。
Transformer架构进一步用自注意力（self-attention）替代循环结构，使训练可高度并行，并在多项NLP任务上取得主导地位。其关键操作可概括为：对序列中任意位置的表示进行加权汇聚，权重由相似度（query-key）计算得到，从而实现动态信息路由。
> 侧栏：为什么并行化重要？ > 在深度学习时代，模型能力不仅取决于理论表达能力，也取决于“能否高效地用大规模数据训练”。Transformer的工程优势（GPU/TPU友好、吞吐高）为后续的规模化训练提供了基础设施条件。
1.3.3 判别式与生成式：两条路线的交汇
深度学习阶段的一个关键分野，是判别式（discriminative）与生成式（generative）建模的区别：
- **判别式**：学习 $P(y\mid x)$，如文本分类、序列标注。
- **生成式**：学习 $P(x)$ 或 $P(x\mid c)$，可用于生成、补全、对话等。
早期NLP的大量成果集中在判别式任务上（例如用BiLSTM/CRF做命名实体识别）。但预训练范式兴起后，生成式目标逐渐成为构建通用语言能力的核心路径之一（见§1.4–§1.5）。
1.4 预训练—微调：从“任务模型”到“通用模型”
1.4.1 预训练的动机：把“语言知识”装进参数里
预训练的基本思想是：先在大规模无标注文本上训练一个通用模型，使其掌握语言结构、事实共现与部分常识；再通过微调（fine-tuning）或提示学习（prompting）适配下游任务。与统计学习时代“依赖标注数据学习任务规则”不同，预训练强调从海量文本中吸收通用统计规律，从而降低对任务标注的依赖。
1.4.2 两类经典预训练目标：掩码与自回归
主流预训练目标可大致分为两类：
1. 掩码语言模型（Masked LM）：随机遮蔽输入中的部分token，预测被遮蔽内容。代表为BERT类模型，适合构建强表征以服务理解类任务。 2. 自回归语言模型（Autoregressive LM）：按序预测下一个token。代表为GPT类模型，更自然地支持生成式任务。
自回归语言模型的最大似然训练目标通常写为： $$ \max_\theta \sum_{t=1}^T \log P_\theta(x_t \mid x_{<t}) $$ 其中 $x_{<t}$ 表示上下文token序列，$\theta$ 为模型参数。该目标极其通用：只要把不同任务“改写”为文本续写问题（例如指令+输入→输出），同一目标函数即可覆盖翻译、摘要、问答、对话等多种形式。
1.4.3 从微调到提示：接口的变化
在工程实践中，预训练模型的使用接口经历了从“微调权重”到“写提示词”的迁移。其背后反映的是两个事实：
- **模型规模上升后，零样本/小样本能力增强**：无需为每个任务训练专用模型。
- **任务定义转向自然语言**：提示（prompt）成为新的“编程接口”，把需求以语言形式表达。
这种接口变化降低了应用门槛，但也带来新的工程挑战：提示对输出高度敏感，且容易受到上下文污染、提示注入等攻击（见§1.7.3）。
1.4.4 案例二：从“预训练表征”到“指令遵循”
以应用体验为视角，BERT时代更像是“把语言理解能力作为特征提取器”，常见做法是：预训练→在特定任务上加分类头并微调。而GPT系大模型的指令遵循（instruction following）更接近“统一任务接口”：用自然语言描述任务，模型直接生成答案。二者并非简单替代关系：理解类任务在离线评测上仍常偏好编码器结构，但在统一对话接口与工具调用的产品形态中，自回归生成模型更具通用性。
1.5 规模化训练：能力跃迁的关键驱动力
1.5.1 “规模”指什么：数据、参数、计算与组织
大模型语境中的“规模化训练”并不只指参数更大，而是四个维度的协同放大：
- **数据规模**：更大语料、更广覆盖、更强清洗与去重。
- **模型规模**：更多参数、更宽更深的网络、更长上下文窗口。
- **计算规模**：更强算力、更高吞吐、更高效并行与混合精度。
- **工程组织**：训练管线、监控、容错、版本管理、评测基准的系统化。
其中任何一项短板都可能使“规模”无法有效转化为能力：例如数据噪声会吞噬计算投入，评测缺失会掩盖退化，训练不稳定会导致长周期反复试错。
1.5.2 规模律（Scaling Laws）的直观含义
大量研究表明，在一定范围内，语言模型的损失（loss）与模型参数量、数据量、计算量之间呈现近似幂律关系，即“继续加规模，性能继续平滑提升”，而非很快饱和。这一经验规律的重要性在于：它把模型改进从“赌某个结构创新”部分转化为“可预测的工程投资回报”。
可用一个高度抽象的形式表达这种趋势： $$ \mathcal{L} \approx a N^{-\alpha} + b D^{-\beta} + c $$ 其中 $N$ 代表参数规模，$D$ 代表数据规模，$\alpha,\beta>0$ 为经验指数，$a,b,c$ 为常数。该式并不意图精确拟合，而是强调：在一定范围内，扩大 $N$ 与 $D$ 往往都能带来可预期的损失下降；同时，单纯增大参数但数据不足，会使收益递减，甚至导致过拟合与事实记忆问题。
> 侧栏：规模律对普通读者的意义 > 它提示我们，大模型能力并非“魔法涌现”，而是大量可积累的小改进叠加的结果。所谓“涌现能力”往往出现在评测指标具有阈值效应时：当模型跨过某个性能阈值，任务从“几乎全错”突然变成“多数正确”，表现为“看起来突然学会了”。
1.5.3 为什么规模会带来“看似通用”的能力
从机制上看，规模化训练可能通过三条路径推动能力跃迁：
1. 覆盖更多语言现象与知识组合：数据更广，模型见过的模式更多，长尾现象被部分覆盖。 2. 更强的函数逼近与表示容量：更大模型可容纳更复杂的条件分布与潜在算法。 3. 优化与泛化行为的改变：在大规模训练中，梯度下降可能更容易找到具有更好泛化性质的参数区域；同时，模型对上下文的利用能力增强，使其能在推理时“借助提示完成任务改写”。
需要强调的是：这些解释并非已完全定论。对“大模型为何有效”的理论理解仍在发展中，但工程上已经形成了相对稳健的经验路线：数据质量与规模、训练稳定性、评测体系与对齐机制同等重要。
1.5.4 案例三：从“会续写”到“会对话”的关键步骤
纯粹的自回归预训练使模型学会“像互联网文本一样续写”，但并不天然等价于“可靠地按用户意图回答”。从产品体验看，通用聊天助手的形成通常依赖额外步骤：
- **指令数据的监督微调（SFT）**：让模型学会“输入是指令，输出是完成任务的答案”。
- **人类偏好对齐（如RLHF或类似方法）**：用人类偏好信号优化输出风格与安全边界，减少攻击性与无关内容。
这一过程说明：规模化预训练提供“语言与知识底座”，而“对齐”提供“交互契约”。两者缺一不可。
1.6 术语体系：从语料到token，从概率到生成
为避免后续章节反复解释，本节给出本书的核心术语，并用尽量工程化的方式说明其含义与边界。
1.6.1 语料（Corpus）
语料是用于训练、验证与评测的文本集合，可来自网页、书籍、论文、代码、对话记录等。工程上更关心其“分布”而非“规模”本身：语料是否覆盖目标领域？是否包含高比例噪声、重复、低质量文本？是否存在敏感信息与版权风险？这些问题会直接影响模型能力与合规性。
1.6.2 token、词表（Vocabulary）与分词器（Tokenizer）
- **token**：模型处理的基本离散单位，不必等同于“词”。它可能是字、子词（subword）、字符片段，或更复杂的编码单元。
- **词表**：token的集合，词表大小影响表示粒度、序列长度与计算成本。
- **分词器**：将原始文本映射为token序列的算法与规则（例如BPE、Unigram等子词方法）。
一个直观但常被忽视的事实是：同一句话在不同分词器下会变成不同token序列，从而影响长度、成本与模型行为。因此，在工程实践中，分词器不是“前处理细节”，而是模型接口的一部分。
下面给出一个极简示例，用以强调“token并非词”的直观差异：
```python
伪代码：展示“文本→token id序列”的接口形态
text = "大模型正在改变软件工程" token_ids = tokenizer.encode(text) # 可能按子词切分 tokens = tokenizer.decode(token_ids) # 可逆（理想情况下） print(len(token_ids), token_ids) ```
1.6.3 上下文窗口（Context Window）
上下文窗口指模型一次前向计算可条件化（conditioning）的最大token长度。它决定了模型能“看到多少历史”，从而影响长文理解、多轮对话一致性、长代码生成与长文档检索增强等能力。窗口越长，计算与显存成本通常上升更快（自注意力在最朴素实现下近似二次复杂度），因此“长上下文”既是能力问题，也是工程权衡问题。
1.6.4 概率语言模型（Probabilistic Language Model）
在本书语境中，语言模型指对token序列概率分布进行建模的函数族，常见形式为自回归分解： $$ P(x_{1:T})=\prod_{t=1}^{T}P(x_t \mid x_{<t}) $$ 当模型能够在给定上下文 $x_{<t}$ 时产生合理的 $x_t$ 分布，它就具备了生成能力，并可通过“提示+续写”覆盖多种任务形态。
1.6.5 生成式建模（Generative Modeling）
生成式建模强调学习数据分布并生成样本，而不仅仅是做分类或打分。对于语言而言，生成式建模不仅用于写作式输出，也用于把任务统一为“生成答案”的接口，例如：
- 阅读理解：给定文章与问题，生成答案。
- 信息抽取：给定文本，生成结构化字段（可用JSON等格式约束）。
- 代码辅助：给定注释与上下文，生成实现。
生成式接口的优势是统一，但它也会引入“幻觉”风险：模型可能生成形式正确但事实错误的内容（见§1.7.2）。
1.7 能力谱系与局限：应当如何“正确期待”大模型
1.7.1 能力谱系：理解、生成、推理、对话、工具使用
为了避免把大模型能力神秘化，本书将能力拆分为相对可操作的维度：
1. 理解（Understanding）：对输入文本的语义把握与信息抽取能力，常体现为摘要、分类、问答正确性等。 2. 生成（Generation）：产生连贯、风格一致、满足约束的文本或代码。 3. 推理（Reasoning）：在多步条件约束下得出结论，包括数学推导、逻辑链条与规划；需要注意，推理能力的评测高度依赖题目分布与泄漏控制。 4. 对话（Dialogue）：在多轮交互中保持一致性、遵循角色与安全边界，并能处理省略与指代。 5. 工具使用（Tool Use）：调用搜索、数据库、计算器、代码执行器等外部工具，以弥补纯语言模型在事实性与计算精度上的短板。
上述能力并非彼此独立：例如工具使用往往需要对话状态管理与规划能力；推理与理解也高度相关。但拆分维度有助于工程落地：不同应用应明确“必须强”的能力项与“可容忍弱”的能力项。
1.7.2 局限一：幻觉（Hallucination）及其根源
“幻觉”通常指模型生成与事实不符、但语言形式看似合理的内容。其根源可从三个层面理解：
- **目标函数层面**：最大似然训练优化的是“像训练分布”，而不是“真实且可验证”。当上下文不足以确定事实时，模型倾向于生成最“像样”的答案。
- **数据层面**：训练语料包含错误、矛盾与过时信息；此外，模型可能记住高频模板并在不适用时套用。
- **推理与检索缺失**：仅靠参数记忆无法覆盖长尾事实与最新信息，且缺乏外部验证机制。
工程上应把幻觉视为“系统性风险”，而非“偶尔错误”。常见缓解手段包括：检索增强生成（RAG）、工具调用与可验证引用、输出约束与一致性检查、基于不确定性或自检的拒答策略等。这些内容将在后续章节深入展开。
1.7.3 局限二：偏见、脆弱性与安全攻击面
大模型在训练数据中会吸收社会偏见与刻板印象，表现为对不同群体不公平的描述或决策倾向。与此同时，其脆弱性还体现在：
- **对提示高度敏感**：微小措辞变化可能显著改变输出。
- **对抗性攻击**：提示注入、越狱（jailbreak）、数据投毒等。
- **隐私与版权风险**：模型可能复现训