Foundations of Generative AI: Evolution, Principles, and Taxonomy

生成式人工智能（Generative AI）在近年来经历了前所未有的爆炸式增长，从自然语言处理领域的GPT系列到计算机视觉中的DALL-E和Stable Diffusion，这些模型不仅展示了惊人的创造能力，更深刻地改变了我们与技术的交互方式。然而，要真正掌握这些先进系统，必须回归其根本：生成建模（Generative Modeling） 的核心问题。生成建模旨在学习一个概率分布 $p(x)$，其中 $x$ 代表数据（如图像、文本或音频），使得从该分布中采样的新样本与训练数据具有相同的统计特性。这一看似简单的目标，实则蕴含着深刻的统计学与计算挑战，因为真实世界的数据分布通常位于高维空间，且具有复杂的多模态结构。本章将建立整本书的智识与技术框架，系统性地梳理生成建模的理论基础、历史演进、架构分类及评估体系，为后续深入探讨各类模型奠定坚实基础。

---

核心问题与模型分类

生成建模的终极目标是构建一个模型，能够捕捉训练数据 $x \sim p_{\text{data}}(x)$ 的分布，并生成新的、逼真的样本 $x_{\text{new}} \sim p_{\text{model}}(x)$。根据模型是否能够直接计算或估计数据点的概率密度 $p_{\text{model}}(x)$，可将生成模型分为两大类：显式密度模型（Explicit Density Models） 与 隐式密度模型（Implicit Density Models）。这一区分不仅是技术上的，更反映了不同的哲学思路：是显式地刻画分布，还是通过采样间接逼近？

显式密度模型 直接定义或参数化概率密度函数 $p_{\text{model}}(x; \theta)$，允许计算任意数据点的似然值。这类模型通常基于概率图模型或可逆变换，包括变分自编码器（VAE）、自回归模型（如PixelCNN、WaveNet）和流模型（如RealNVP、Glow）。其优势在于能够进行精确或近似的密度估计，便于使用最大似然原则进行训练，并支持概率推理任务（如异常检测）。然而，显式建模往往要求模型结构满足特定约束（如自回归的顺序性、流模型的可逆性），可能限制表达效率或采样速度。

隐式密度模型 则不提供显式的密度函数，而是通过一个生成过程间接定义分布。最典型的代表是生成对抗网络（GAN），其中生成器 $G(z; \theta_g)$ 将简单先验分布（如标准正态） $p(z)$ 映射到数据空间，生成样本 $x = G(z)$。判别器 $D(x; \theta_d)$ 则试图区分生成样本与真实样本。通过对抗训练，生成分布 $p_g(x)$ 被推 toward 真实分布 $p_{\text{data}}(x)$，但无法直接计算 $p_g(x)$。隐式模型的优点在于采样效率高（单次前向传播即可生成样本），且无需密度约束，表达灵活。但其代价是缺乏直接的密度评估能力，训练过程常不稳定，且难以诊断模式崩溃（mode collapse）等问题。

下表总结了显式与隐式模型的关键特性：

| 特性 | 显式密度模型 | 隐式密度模型 | |------|--------------|--------------| | 密度计算 | 支持（精确或近似） | 不支持 | | 训练目标 | 最大似然或变分下界 | 对抗损失或匹配损失 | | 采样速度 | 通常较慢（尤其自回归） | 快（单步） | | 训练稳定性 | 相对稳定 | 常不稳定（需调优） | | 模式覆盖 | 通常较好 | 可能模式崩溃 | | 典型代表 | VAE, PixelCNN, Flow | GAN, Diffusion（训练隐式） |

值得注意的是，扩散模型（Diffusion Models） 在训练阶段可视为隐式模型（通过去噪分数匹配学习得分函数），但采样时需迭代去噪，速度较慢；然而，其理论根基与显式模型中的概率流常微分方程（PF-ODE）相连，模糊了传统界限。这反映了生成建模领域的融合趋势。

---

历史演进：从概率图模型到深度学习

生成建模的思想可追溯至统计学与概率图模型的早期发展。理解其历史脉络，有助于把握当前技术突破的必然性与偶然性。

早期概率模型（1950s-1980s）

生成式方法的雏形出现在朴素贝叶斯分类器与隐马尔可夫模型（HMM）中。朴素贝叶斯假设特征条件独立，通过贝叶斯定理直接计算后验 $p(y|x) \propto p(x|y)p(y)$，虽简化但高效。HMM则对时序数据建模，使用状态转移概率和发射概率描述序列生成。这些模型参数少、计算简单，但表达力有限，难以处理高维复杂数据。

神经网络复兴与深度生成模型萌芽（2000s）

随着深度学习的兴起，生成建模进入新阶段。受限玻尔兹曼机（RBM） 和 深度信念网络（DBN） 作为早期深度概率模型，通过对比散度（CD）进行近似训练，可生成手写数字等简单数据。然而，其训练仍基于近似最大似然，效率低下，且难以扩展。此时期，自回归模型 已在语音合成中应用（如WaveNet的前身），但受限于计算资源，未大规模用于图像。

深度学习革命（2013-至今）

2013年被视为现代生成式AI的元年。变分自编码器（VAE） 由Kingma和Welling提出，将变分推断与神经网络结合，通过重参数化技巧实现端到端训练，在图像生成上取得突破。同年，生成对抗网络（GAN） 由Goodfellow提出，开创了对抗训练范式，迅速成为高质量图像合成的标杆。此后，各类架构蓬勃发展：

• **2014**：GAN原论文，DCGAN稳定训练。
• **2016**：PixelRNN/PixelCNN展示自回归模型在图像生成上的潜力，似然计算精确但采样慢。
• **2017**：流模型（RealNVP, Glow）实现可逆变换与精确似然，推动密度估计进步。
• **2015-2020**：扩散模型源于非稳态热力学，Denoising Diffusion Probabilistic Models (DDPM, 2020) 将其引入深度学习，以简单的高斯去噪过程实现高质量生成。
• **2021-至今**：扩散模型在样本质量上超越GAN（如ADM、Classifier-Free Guidance），并扩展至文本到图像（DALL-E 2、Stable Diffusion）、视频合成等领域。

下图以时间线形式概括关键里程碑：

```mermaid timeline title 生成式AI发展简史（关键里程碑） 1950s-1980s : 早期概率模型 : 朴素贝叶斯, 隐马尔可夫模型 2000s : 神经网络复兴 : 受限玻尔兹曼机(RBM), 深度信念网络(DBN) 2013 : 变分自编码器(VAE) : [Kingma & Welling, 2014] 2014 : 生成对抗网络(GAN) : [Goodfellow et al., 2014] 2016 : 自回归图像模型 : PixelRNN/PixelCNN 2017 : 流模型 : RealNVP, Glow 2015-2020 : 扩散模型理论起源 : 非稳态热力学 2020 : 去噪扩散概率模型(DDPM) : [Ho et al., 2020] 2021 : 扩散模型超越GAN : ADM, 引导扩散 2022 : 文本到图像扩散模型 : DALL-E 2, Stable Diffusion ```

这一演进并非线性替代，而是多路径并行：GAN追求质量与效率，VAE平衡似然与采样，自回归和流模型专注精确密度，扩散模型则在质量与多样性上取得卓越平衡。当前趋势是融合架构（如扩散模型与VAE结合、GAN与自回归混合），以取长补短。

---

生成架构的严格分类与原理

基于训练目标、采样机制和数学基础，可将现代生成架构细分为五类。以下逐一剖析其核心原理。

1. 对抗生成网络（GAN）

核心思想：通过生成器 $G$ 与判别器 $D$ 的极小极大博弈，最小化生成分布 $p_g$ 与真实分布 $p_{\text{data}}$ 之间的散度（如Jensen-Shannon散度）。训练目标为： $$ \min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{\text{data}}}[\log D(x)] + \mathbb{E}_{z \sim p(z)}[\log(1 - D(G(z)))] $$ 当达到纳什均衡时，$D(x) = 0.5$ 且 $p_g = p_{\text{data}}$。

训练过程：交替固定 $G$ 更新 $D$（区分真实与生成样本），再固定 $D$ 更新 $G$（欺骗 $D$）。实际中常使用非饱和损失、Wasserstein距离（WGAN）或谱归一化等技术稳定训练。

采样：给定随机噪声 $z \sim p(z)$，单次前向传播 $x = G(z)$ 即可生成样本，速度极快。

优缺点：

• 优点：样本质量高（尤其在图像领域），采样高效。
• 缺点：训练不稳定，需精细调参；模式崩溃风险；缺乏显式密度，难以评估收敛。

典型变体：DCGAN（深度卷积GAN）、StyleGAN（风格控制）、BigGAN（大规模训练）。

2. 变分自编码器（VAE）

核心思想：将生成建模与变分推断结合。引入隐变量 $z$，定义生成过程 $p_\theta(x|z)$ 和先验 $p(z)$（通常为标准正态）。编码器 $q_\phi(z|x)$ 近似后验 $p_\theta(z|x)$。通过最大化证据下界（ELBO）训练： $$ \mathcal{L}_{\text{ELBO}} = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - \text{KL}(q_\phi(z|x) \| p(z)) $$ 第一项为重建损失，第二项使后验接近先验。

训练过程：使用重参数化技巧 $z = \mu_\phi(x) + \sigma_\phi(x) \odot \epsilon, \epsilon \sim \mathcal{N}(0,I)$，使梯度可反向传播。

采样：从先验 $p(z)$ 采样 $z$，再通过解码器 $p_\theta(x|z)$ 生成样本，通常只需一次或少量步。

优缺点：

• 优点：训练稳定，支持显式密度（近似），可进行插值。
• 缺点：样本常显模糊，因ELBO中的近似和后验假设（如因子化）导致信息瓶颈。

典型变体：β-VAE（解耦表示）、VQ-VAE（离散隐空间）、NVAE（高效架构）。

3. 自回归模型（Autoregressive Models）

核心思想：将联合分布 $p(x)$ 分解为条件分布的链式乘积： $$ p(x) = \prod_{i=1}^{n} p(x_i | x_{<i}) $$ 其中 $x_{<i}$ 表示先前维度或像素。通过神经网络（如CNN、RNN、Transformer）参数化每个条件分布。

训练过程：最大化训练数据的对数似然 $\log p(x)$，可精确计算，无近似。

采样：必须顺序生成：从 $p(x_1)$ 采样 $x_1$，然后基于 $x_1$ 采样 $x_2$，依此类推。因此采样速度慢，尤其是高维图像（需数百步）。

优缺点：

• 优点：训练稳定，似然计算精确，样本质量高（尤其在密度估计任务）。
• 缺点：采样效率极低，无法并行生成；对数据顺序敏感。

典型代表：PixelRNN/PixelCNN（图像）、WaveNet（音频）、GPT系列（文本，虽为自回归但常归为语言模型）。

4. 流模型（Flow-based Models）

核心思想：通过一系列可逆、可雅可比行列式计算的变换 $f$，将简单先验分布 $p(z)$（如标准正态）映射到数据分布 $p(x)$。变量变换公式为： $$ p(x) = p(z) \left| \det \frac{\partial f^{-1}(x)}{\partial x} \right| = p(z) \left| \det \frac{\partial f(x)}{\partial x} \right|^{-1} $$ 其中 $z = f(x)$。要求 $f$ 可逆且雅可比行列式易计算。

训练过程：直接最大化数据似然 $\log p(x)$，利用变换链的雅可比行列式乘积计算密度。

采样：从先验 $p(z)$ 采样 $z$，再通过逆向变换 $x = f^{-1}(z)$ 生成样本，通常只需一次或少数步，速度较快。

优缺点：

• 优点：精确似然计算，训练稳定，采样高效。
• 缺点：变换设计受限（需可逆且行列式易算），模型深度与宽度受限，表达力可能不如GAN或扩散。

典型变体：RealNVP（耦合层）、Glow（1x1卷积+仿射耦合）、Flow++（脱氧核糖核酸耦合）。

5. 扩散模型（Diffusion Models）

核心思想：通过前向扩散过程（逐步添加高斯噪声）将数据转化为纯噪声，然后学习逆过程（去噪）以从噪声生成数据。前向过程定义为马尔可夫链： $$ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I) $$ 其中 $\beta_t$ 为噪声调度。逆过程 $p_\theta(x_{t-1} | x_t)$ 被参数化为神经网络（通常预测噪声 $\epsilon$ 或均值）。训练目标为简化变分下界或直接去噪分数匹配： $$ \mathcal{L}_{\text{simple}} = \mathbb{E}_{t,x_0,\epsilon} \left[ \| \epsilon - \epsilon_\theta(x_t, t) \|^2 \right] $$ 其中 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\bar{\alpha}_t = \prod_{s=1}^t (1-\beta_s)$。

训练过程：随机采样时间步 $t$ 和数据 $x_0$，添加噪声得 $x_t$，训练网络预测噪声 $\epsilon$。

采样：从纯噪声 $x_T \sim \mathcal{N}(0,I)$ 开始，迭代去噪 $T$ 步（通常 $T=1000$），使用如DDIM的加速采样可减少步数。

优缺点：

• 优点：样本质量极高，模式覆盖好，训练稳定（相比GAN）。
• 缺点：采样慢（多步迭代），计算成本高；训练需大量数据与时间。

典型变体：DDPM、DDIM（确定性采样）、Score SDE（连续时间视角）、Stable Diffusion（潜在扩散）。

---

模型权衡：质量、效率与稳定性的不可能三角

不同生成架构在似然计算能力、样本质量、多样性、采样速度和训练稳定性之间存在根本性权衡。这些权衡源于模型的数学约束与优化特性。

1. 似然 vs. 样本质量

显式密度模型（VAE、自回归、流）可直接优化似然，理论上应生成高质量样本。但实践中，VAE因后验近似和正则化常产生模糊样本；自回归模型似然极高但受限于顺序生成，可能过拟合训练分布；流模型似然精确但受限于变换设计，在复杂数据上表现不及扩散或GAN。相反，GAN和扩散模型不直接优化似然（或仅间接），却常生成更锐利、真实的样本。这表明似然最大化并非样本质量的充分条件——可能由于模型容量、正则化或评估指标偏差。

2. 采样速度

自回归模型采样速度最慢（$O(n)$ 步，$n$ 为数据维度），因其必须顺序生成。扩散模型需数十到数百步迭代，虽可加速但仍慢于单步模型。GAN和流模型通常单步生成，速度最快。VAE介于之间（单步但解码器可能复杂）。这一权衡直接影响部署：实时应用需快速采样（GAN、流），而离线生成可接受慢速（扩散、自回归）。

3. 训练稳定性

GAN以训练不稳定著称，需精心设计架构、损失函数和超参数，否则易发散或模式崩溃。VAE和自回归模型基于似然最大化，通常稳定，但可能面临梯度消失/爆炸（深自回归）或后验塌缩（VAE）。流模型训练稳定，但可逆性约束可能使优化困难。扩散模型训练相对稳定，因目标简单（噪声预测），但需长训练时间与大量数据。

4. 模式覆盖与多样性

模式崩溃是GAN的顽疾，生成器可能只覆盖数据分布的少数模式。扩散模型和自回归模型因训练目标覆盖整个分布，多样性通常更好，但自回归可能因顺序生成而累积误差。VAE的多样性受先验与后验约束，常显不足。

下表综合权衡：

| 模型 | 似然计算 | 样本质量 | 多样性 | 采样速度 | 训练稳定性 | 模式崩溃风险 | |------|----------|----------|--------|----------|------------|--------------| | GAN | 否 | 非常高 | 中低 | 极快 | 低 | 高 | | VAE | 是(近似) | 中 | 中 | 快 | 中高 | 中 | | 自回归 | 是(精确) | 高 | 高 | 极慢 | 高 | 低 | | 流模型 | 是(精确) | 中高 | 中高 | 快 | 中 | 低 | | 扩散模型 | 否(训练) | 非常高 | 非常高 | 慢 | 高 | 极低 |

---

评估生成模型：指标与陷阱

评估生成模型需多维度指标，单一指标常不足以全面反映性能。以下介绍最常用的评估指标，包括数学定义与局限。

1. 初始分数（Inception Score, IS）

IS 使用预训练的 Inception-v3 网络（在 ImageNet 上训练）提取生成图像的特征，并计算条件类别分布 $p(y|x)$ 的熵与 marginal 分布 $p(y)$ 的KL散度： $$ \text{IS} = \exp\left( \mathbb{E}_{x \sim p_g} [\text{KL}(p(y|x) \| p(y))] \right) $$ 高 IS 表示生成样本分类清晰（高 $p(y|x)$ 熵）且类别分布均衡（$p(y)$ 均匀）。但 IS 有严重缺陷：

• 依赖 Inception 网络，可能偏向 ImageNet 风格；

-