大语言模型概览：范式、能力与边界

当人们谈论“大语言模型”（Large Language Model, LLM）时，最容易忽略的一点是：它首先是一类“概率模型”，而不是一部“会说话的百科全书”。LLM 的核心任务可以概括为一句话：在给定前文的条件下，为下一个符号（token）分配概率，并据此生成后续序列。正是这种看似朴素的“下一个 token 预测”目标，在足够规模的数据、模型参数与算力支持下，逐渐演化出对自然语言、代码乃至多模态符号的强大建模能力，并在交互式应用中表现为“理解”“推理”“写作”“对话”等复杂行为。本章将以术语澄清为起点，回顾语言建模范式从 n-gram 到神经语言模型再到 Transformer 的演进逻辑，进而解释涌现能力、尺度定律、上下文学习与工具使用的直观图景，最后讨论能力边界与工程现实，搭建贯穿全书的知识地图。

1. 基础定义：从“语言”到“概率”

1.1 LLM 的工作对象：序列与条件概率

将文本视为一个离散符号序列 $x_{1:T}=(x_1,x_2,\dots,x_T)$，语言模型学习的是如下分解形式的联合概率： $$ p_\theta(x_{1:T})=\prod_{t=1}^{T} p_\theta(x_t \mid x_{<t}) $$ 其中 $\theta$ 表示模型参数。训练时通常最大化对数似然（等价于最小化交叉熵损失）： $$ \max_\theta \sum_{t=1}^{T}\log p_\theta(x_t\mid x_{<t}) $$

> 旁注：把“语言”理解为符号序列 > 这里的“语言”并不限于自然语言。源代码、数学推导步骤、对话轮次、API 调用记录等，都可以编码为 token 序列。LLM 能力的扩展，很大程度上来自“可被序列化的任务都能被建模”的工程事实。

1.2 四个常用术语：token、context、logits、概率

为了避免后续讨论中概念滑移，先给出最常见的四个术语解释，并用它们串起“输入—计算—输出”的全过程。

1) Token：离散化的基本单位

token 是模型处理文本时的离散单位。它可能是一个字、一个子词（subword）、一个常见词，或若干字符的组合。tokenization（分词/编码）将字符串映射为整数序列，再由 embedding（嵌入）映射到向量空间。 直观上，token 越细，序列越长；token 越粗，词表越大。二者在训练效率、表达能力与跨语言适配之间权衡。

2) Context（上下文窗口）：模型“眼前能看到的内容”

context 指模型在一次预测中可利用的前文长度，通常以 token 数计量（例如 2k、8k、32k、128k 等）。它不是“记忆容量”的同义词：

• **上下文窗口**决定可直接条件化的信息范围；
• **参数记忆**（存储在权重中）决定长期统计规律与知识模式；
• **外部记忆**（检索库、工具、文件）决定可动态注入的信息。

3) Logits：softmax 之前的“分数”[^logits]

给定上下文，模型输出对每个候选 token 的一组实数分数，称为 logits。它们并非概率，必须经过 softmax 归一化： $$ p(x_t=v\mid x_{<t})=\frac{\exp(z_v)}{\sum_{u}\exp(z_u)} $$ 其中 $z_v$ 是 token $v$ 的 logit。

4) 采样与解码：从概率到文本

生成文本需要“解码策略”。常见做法包括：

• **贪心解码**：每步取最大概率 token，稳定但易陷入重复与模板化。
• **Beam Search**：保留多个候选路径，常用于翻译等任务，但在开放式生成中可能降低多样性。
• **随机采样**：按概率采样，配合 temperature、top-k、top-p（核采样）控制随机性与保守程度。

> 提示：temperature 的直觉 > temperature $T$ 常用于缩放 logits：$p\propto \exp(z/T)$。$T$ 越低，分布越尖锐（更保守）；$T$ 越高，分布越平坦（更发散）。这是一种“输出风格旋钮”，但不是“事实性保证器”。

[^logits]: logits 可理解为“未归一化的对数概率倾向”。数值大小只在相对比较时有意义，整体加常数不改变 softmax 后的概率分布。

2. 范式演进：从 n-gram 到 Transformer

2.1 n-gram：马尔可夫假设下的计数统计

n-gram 语言模型使用“近似马尔可夫性”假设：下一个词只依赖于前 $n-1$ 个词： $$ p(x_t\mid x_{<t})\approx p(x_t\mid x_{t-n+1:t-1}) $$ 其参数通常来自语料计数与平滑（如 Kneser–Ney）。优点是简单、可解释、训练快速；缺点同样明显：

• 上下文依赖被硬截断，难以捕捉长距离依赖（指代、主题一致性）。
• 数据稀疏严重，长 n-gram 组合爆炸。
• 难以泛化到未见片段，尤其在开放域生成时表现受限。

案例 1：长距离一致性为何困难 句子“他把书放在桌子上，因为它很重”中的“它”指代“书”还是“桌子”？这一决策往往依赖更远的语义线索。n-gram 只能在固定窗口内统计共现，难以表达“跨越多个短语的语义约束”，因此在此类任务上性能天然受限。

2.2 神经语言模型：用连续表示缓解稀疏性

神经语言模型（Neural LM）将离散 token 映射为连续向量，通过神经网络学习条件概率。早期包括前馈网络语言模型与循环神经网络（RNN/LSTM/GRU）。其关键进步在于：

• **分布式表示**：相似词在向量空间中相近，缓解稀疏。
• **参数共享**：在不同上下文中复用同一组网络参数。
• **更强泛化**：可对未见组合给出合理概率。

但 RNN 类模型存在两类结构性瓶颈： 1) 并行性差：序列计算依赖前一步隐藏状态，训练难以充分利用 GPU 并行。 2) 长程依赖受限：尽管 LSTM 引入门控缓解梯度消失，极长上下文仍较难稳定建模。

2.3 Transformer：用注意力机制重写“依赖”的表达方式

Transformer 的核心是自注意力（self-attention）：对序列中任意位置，模型都可直接计算与其他位置的相关性，并进行加权汇聚。这使得：

• **长距离依赖更易表达**：依赖不必沿着时间步逐次传递。
• **训练高度并行**：同一层内可同时处理所有位置。
• **规模化更自然**：模型深度、宽度与数据量可系统扩张，形成现代 LLM 的工程基础。

用直觉描述自注意力：模型为每个 token 生成 query/key/value 向量，通过相似度计算得到权重，再对 value 加权求和。多头注意力（multi-head attention）允许模型在不同子空间学习不同类型的关系（语法、指代、主题、格式等）。

> 旁注：为什么叫“大语言模型” > “大”并非仅指参数规模（如几十亿到上千亿），还隐含训练数据规模、训练 token 数、上下文长度、对齐与工程系统复杂度等多维扩张。更准确地说，这是一个“规模化的语言建模系统”。

3. 训练与对齐：从“能生成”到“能对话”

3.1 预训练：以通用目标吸收广泛统计规律

现代 LLM 的第一阶段通常是大规模自监督预训练，即在海量文本上优化“下一个 token 预测”。这一阶段形成两类能力基础：

• **语言与结构能力**：语法、篇章组织、风格迁移、格式遵循。
• **知识与模式记忆**：事实片段、常识关联、代码模板、论证套路等。

经验上，预训练数据的覆盖面与质量将深刻影响模型“世界知识”的广度与偏差形态（见第 6 章的数据治理与质量控制主题）。

3.2 指令微调：把“续写者”变成“任务执行者”

仅靠预训练，模型更像“高概率续写器”：它擅长延续文本分布，却不一定会把用户输入当作“要完成的任务”。指令微调（Instruction Tuning）通过“输入—输出”对（含多任务、多格式）告诉模型：

• 用户输入往往是指令、问题或约束；
• 输出应当满足任务目标，而不是简单续写。

3.3 偏好对齐与 RLHF：让输出更符合人类期望

在对话系统中，用户期望不仅是“语法正确”，还包括“有用、无害、诚实、可控”。常见做法是引入偏好学习与强化学习（如 RLHF：Reinforcement Learning from Human Feedback），以人类偏好标注或自动化偏好信号来优化输出策略。 需要强调的是：对齐主要改变的是“输出行为分布”，并不必然等价于“知识变得更真”——这也是后文讨论幻觉与可控性的关键。

下面用一个流程图概括“从训练到部署”的常见管线（不同机构实现细节差异很大，但结构相似）：

```mermaid graph TD A[原始语料与数据治理] --> B[Tokenizer/词表构建] B --> C[预训练: Next-Token Prediction] C --> D[指令微调: SFT] D --> E[偏好学习/对齐: RLHF 或 DPO 等] E --> F[评测与红队测试] F --> G[部署: 推理优化/监控/迭代] ```

4. 能力图景：涌现、尺度定律与上下文学习

4.1 尺度定律：性能与规模之间的“规律性”

大量实证研究表明，在一定范围内，语言模型的损失（或困惑度）随模型参数量、数据量、训练计算量呈近似幂律下降。这种现象通常被称为“尺度定律”（scaling laws）。 从工程角度，尺度定律提供了一种重要信念：当我们系统性地增加规模并保持训练配方稳定时，性能往往可预测地改进。这为“先堆规模、再做对齐与产品化”的路线提供了依据，也解释了为何 Transformer 时代会出现持续数年的“规模竞赛”。

数据点（用于建立直觉）

• 模型规模常以参数量计：从数亿、数十亿到数百亿、上千亿不等。
• 更关键的指标往往是训练 token 数与计算预算。以公开研究为例，后续工作提出“同等算力下，参数与数据应更均衡”，例如 Chinchilla 类结论强调：在固定计算量下，适当减小参数、增大训练 token 数可能更优。

这些结论并非“永恒定理”，但提示我们：规模化不是单轴增长，而是多变量优化问题（见第 5 章的训练配方与算力预算）。

4.2 涌现能力：从连续改进到离散“看起来会了”

“涌现能力”（emergent abilities）通常指：当规模跨过某个区间后，模型在某些任务上的表现突然显著提升，仿佛发生了“质变”。更谨慎的表述是：

• 能力提升可能一直是连续的，但由于评测指标、任务阈值或提示方式的非线性，表现为“突然变好”。
• 一些“看似推理”的能力，可能来自更强的模式匹配与更长链条的条件生成，而非显式符号推理。

因此，涌现能力是一个重要现象，但不宜被神秘化。它更像是“复杂系统在某些观测口径下的非线性呈现”。

4.3 上下文学习（In-Context Learning, ICL）：把提示当作“临时训练集”

上下文学习指：模型在不更新参数的情况下，仅通过在输入中给出任务描述与示例，就能在同一次推理中完成新任务。其典型形式包括：

• **零样本**：只给指令，不给示例。
• **少样本**：给 1–N 个示例对（input→output）。
• **链式思维提示**：引导模型生成中间步骤（在某些设置下能提升复杂任务表现）。

案例 2：少样本分类的直观例子 假设我们要做情感分类，但不训练任何专用分类器，只在提示中给 2 个例子：

```text 示例1：这家店服务周到，菜也好吃。=> 正面 示例2：等了一个小时还没上菜，体验很差。=> 负面 现在判断：味道一般，但价格合理。=> ```

模型往往能输出“中性/偏正面/正面”（取决于标签体系）。从概率视角，这是模型在上下文中“拟合”了一个临时决策边界：它利用预训练中学到的语言规律，把示例当作条件信息来约束后续生成。

> 提示：ICL 不是“真正的在线学习” > ICL 不会更新权重，它更像“在上下文里完成一次条件推断”。这也是为什么上下文长度、示例选择、格式一致性会显著影响效果。

4.4 工具使用：把“生成”嵌入到行动回路

当 LLM 被接入外部工具（检索、计算器、数据库、代码解释器、业务 API）时，它不再只是在文本空间中生成答案，而是能够： 1) 将问题分解为可操作步骤； 2) 通过工具获取缺失信息或执行精确运算； 3) 汇总工具返回结果，形成可审计的回答。

案例 3：算术与事实核验

• 纯语言模型在长位数算术、日期计算上容易出错，这是“离散精确计算”与“概率生成”机制不匹配的自然结果。
• 若允许调用计算器或执行代码，模型可把高风险步骤外包给确定性工具，从而显著降低错误率。

同理，在需要最新信息或私域知识时，引入检索（RAG）可减少“凭空编造”的概率，但并不能自动消除幻觉：检索质量、引用对齐、摘要忠实性仍需系统设计与评测。

5. 能力边界：幻觉、偏见、可控性与数据依赖

5.1 幻觉（Hallucination）：在“看似合理”中偏离事实

幻觉通常指模型生成与事实不符、但语言上连贯自洽的内容。其根源可从三层理解：

• **目标函数层**：训练优化的是“预测下一个 token 的概率”，不是“对事实负责”。
• **信息不完备层**：上下文中缺少关键事实时，模型会用高概率模式补全空白。
• **对齐与表达层**：在对话压力下（例如被要求必须回答），模型更倾向于给出“看起来完整”的陈述。

工程上缓解幻觉常用组合拳：检索增强、引用约束、拒答策略、置信度校准、事实一致性评测。但必须承认：幻觉是概率生成系统的结构性风险，不是靠一句提示语就能彻底解决的问题（见第 10 章的评测与可靠性主题）。

5.2 偏见与安全：数据分布会“渗入”模型行为

LLM 学到的是训练数据的统计结构。若数据中存在刻板印象、地域偏见、性别偏见或危险指令，模型就可能在某些提示下复现相关模式。 对齐与安全过滤可以显著降低风险输出，但会引入新的权衡：

• 过强的过滤可能损害有益信息（可用性下降）。
• 过弱的过滤可能放大风险（安全性下降）。
• 同一表述在不同文化/语境下的风险判定并不一致，导致“价值对齐”的复杂性。

5.3 可控性：为什么“我让它别这样，它还是会那样”

可控性问题常表现为：风格不稳定、格式不遵循、角色漂移、拒答不一致等。原因包括：

• **提示与训练分布不一致**：模型对少见的指令形式泛化较差。
• **多目标冲突**：有用性、安全性、礼貌性、简洁性等目标在不同场景下相互竞争。
• **采样随机性**：温度与采样策略带来输出方差。

实践中提高可控性往往依赖“系统工程”而不只是“提示工程”：结构化输出约束（如 JSON schema）、工具调用协议、分阶段生成（先规划后写作）、自动校验与重试机制等（见第 12 章的工程化部署与可控生成）。

5.4 数据依赖：能力的上限与“见过什么”高度相关

LLM 并非从物理世界直接学习，它主要从文本（或可序列化数据）中学习。因此：

• 训练数据覆盖到的领域越广，模型越可能在该领域“说得像那么回事”。
• 训练数据缺失或稀疏的领域，模型更可能出现自信但错误的输出。
• 数据时间截断会导致知识过时；这也是检索增强与持续更新的重要动机。

> 提示：把模型看作“压缩器” > 一种常用理解是：LLM 在训练中学习把海量语料压缩进参数。压缩必然伴随信息损失，因此“细粒度事实的精确复现”并非必然，尤其当事实在语料中本就稀少或矛盾时。

6. 四要素框架：模型—数据—算力—工程

为了把“能力与边界”放回可操作的系统视角，本书采用一个简单但有效的四要素框架：模型（Model）、数据（Data）、算力（Compute）、工程（Engineering）。它们共同决定 LLM 系统的上限、成本与风险形态。

6.1 模型：结构选择与规模策略

模型要素包括架构（Transformer 变体）、参数规模、上下文长度支持、推理速度与显存占用等。常见权衡：

• 更大模型通常更强，但训练与推理成本更高。
• 更长上下文提升信息承载能力，但注意力计算可能更昂贵，需要结构优化。
• 稀疏化、量化、蒸馏可降低部署成本，但可能牺牲部分能力或稳定性。

6.2 数据：质量、覆盖与治理决定“学到什么”

数据要素不仅是“数量”，更是：

• **质量**：噪声、重复、模板化内容会降低有效学习信号。
• **覆盖**：领域覆盖影响泛化边界。
• **治理**：版权合规、隐私去标识化、敏感内容处理影响可持续性与风险。

6.3 算力：训练预算与推理成本的双重约束

算力要素包括训练计算量（GPU/TPU 时间、并行策略）、推理吞吐与延迟、能耗与成本。现实中很多产品决策并非“能不能”，而是“值不值”：

• 若推理成本过高，即使模型能力更强，也难以大规模落地。
• 若延迟过大，即使回答正确，也会破坏交互体验。
• 若显存压力过高，就必须引入量化、分片、缓存等工程技巧。

6.4 工程：把模型变成系统，把能力变成体验

工程要素常被低估，但它决定最终可用性，包括：

• 数据管线与训练稳定性（断点续训、监控、可复现性）。
• 推理服务（并发、缓存、批处理、流式输出）。
• 评测与监控（线上回归、漂移检测、红队与审计）。
• 安全机制（权限、隔离、注入防护、内容策略执行）。

一个重要结论是：LLM 产品往往不是“一个模型”，而是一组模型与工具构成的系统。系统的可靠性来自“多组件约束与互补”，而不是期望单个模型在所有条件下都完美。

7. 知识地图与阅读路线：把全书放进同一张图里

本章的目的之一，是提供后续章节的“索引”。为了便于纸书与电子版读者快速定位主题，这里给出一个概念地图（电子版可将节点作为跳转锚点；纸书可据章节编号查阅）。

```mermaid graph LR A[LLM: 概率语言模型] --> B[术语: token/context/logits] A --> C[范式: n-gram->RNN->Transformer] A --> D[训练: 预训练/指令微调/对齐] A --> E[能力: ICL/工具使用/涌现] A --> F[边界: 幻觉/偏见/可控性] A --> G[四要素: 模型-数据-算力-工程] G --> D G --> E G --> F ```

建议的阅读路线（