生成式AI全景：从早期模型到扩散革命的演进之路

生成式人工智能（Generative AI）作为机器学习的一个核心分支，其根本目标在于捕捉高维数据的内在分布，并从中采样产生新的、合理的实例。这一目标可形式化地分解为两个紧密耦合的任务：密度估计（density estimation）——即学习数据分布 $p(\mathbf{x})$ 或条件分布 $p(\mathbf{x}|y)$——以及基于该分布的样本生成（sample generation）。与判别式模型（如分类器）仅关注决策边界不同，生成式模型试图理解数据的完整结构，从而不仅能够预测标签，还能创造与训练数据相似的新内容。这种对数据本质的建模能力，使得生成式AI在图像合成、自然语言生成、音频创作等领域展现出革命性潜力，同时也为理解世界提供了新的计算视角。然而，从早期基于简单概率图的模型到如今基于扩散概率模型的生成革命，这条演进之路充满了范式转移（paradigm shift）与技术创新。本章将系统梳理这一历程，首先界定生成式AI的核心任务与早期探索，继而通过时间轴剖析2014年GAN诞生至2020年扩散模型崛起的关键突破，最终延伸至多模态生成的必然性与产业影响，为读者构建一个连贯、深入的全景认知框架。

---

1.1 生成式AI的核心任务：密度估计与样本生成

在机器学习中，生成式模型的核心使命是解决密度估计问题：给定一个数据集 $\mathcal{D} = \{\mathbf{x}_1, \mathbf{x}_2, \dots, \mathbf{x}_N\}$，其中每个样本 $\mathbf{x}_i \in \mathbb{R}^d$ 可能来自一个未知的真实分布 $p_{\text{data}}(\mathbf{x})$，模型的目标是学习一个近似的概率分布 $p_{\theta}(\mathbf{x})$，使得 $p_{\theta}(\mathbf{x}) \approx p_{\text{data}}(\mathbf{x})$。一旦分布被有效学习，样本生成便成为自然结果：通过从 $p_{\theta}(\mathbf{x})$ 中随机采样，即可获得新的、与训练数据统计特性一致的实例 $\tilde{\mathbf{x}} \sim p_{\theta}(\mathbf{x})$。

这一框架的深刻性在于，它将“创造”转化为一个严格的概率推断问题。密度估计的优劣直接决定了生成样本的质量与多样性。实践中，由于真实分布 $p_{\text{data}}$ 通常极其复杂（尤其是对于图像、文本等高维数据），直接参数化建模几乎不可能。因此，生成式AI的发展史很大程度上是一部如何巧妙近似复杂分布的历史。

从应用角度看，密度估计本身具有独立价值：异常检测（低概率区域）、数据压缩（通过编码潜在表示）、缺失值填充等均可视为密度估计的特例。而样本生成则直接驱动了AIGC（AI Generated Content）的爆发，如：

• **图像生成**：从随机噪声合成逼真人脸、艺术作品。
• **文本生成**：创作文章、诗歌、代码。
• **跨模态生成**：根据文本描述生成图像（text-to-image），或根据图像生成描述（image captioning）。

这些任务的成功，都依赖于模型对数据分布精确而高效的捕获。值得注意的是，生成式模型往往与表示学习（representation learning）天然结合：在学习分布的过程中，模型被迫挖掘数据的内在结构（如物体的部件、语义概念），这些中间表示（latent representation）本身具有极高的迁移价值。例如，VAE的潜在空间可插值，GAN的中间层特征可迁移至分类任务。这种“一举多得”的特性，使得生成式AI成为通向通用人工智能（AGI）的重要路径。

---

1.2 早期探索：从自编码器到玻尔兹曼机

在深度学习革命之前，生成式建模主要依赖概率图模型（Probabilistic Graphical Models

在深度学习革命之前，生成式建模主要依赖概率图模型（Probabilistic Graphical Models, PGMs）与浅层神经网络的结合。这些模型虽然受限于计算能力与数据规模，但已展现出对数据分布建模的深刻洞见，为后续的深度学习生成革命奠定了理论与方法基础。

1.2.1 自编码器：从压缩到生成的桥梁

自编码器（Autoencoder, AE）是最早的神经网络生成模型之一，其结构简单却寓意深远。一个标准的自编码器由两部分组成：编码器 $E_{\phi}(\mathbf{x})$ 将输入 $\mathbf{x}$ 映射到一个低维潜在表示 $\mathbf{z} = E_{\phi}(\mathbf{x})$，解码器 $D_{\theta}(\mathbf{z})$ 则尝试从 $\mathbf{z}$ 重建原始输入 $\tilde{\mathbf{x}} = D_{\theta}(\mathbf{z})$。训练目标是最小化重建误差，通常使用均方误差（MSE）或交叉熵损失：

$$\mathcal{L}_{\text{AE}} = \mathbb{E}_{\mathbf{x} \sim p_{\text{data}}}[\|\mathbf{x} - D_{\theta}(E_{\phi}(\mathbf{x}))\|^2]$$

自编码器的核心思想是通过压缩-重建来学习数据的有用表示。编码器被迫丢弃噪声、保留关键特征，从而在潜在空间 $\mathbf{z}$ 中形成数据的紧凑表示。然而，标准的自编码器存在两个根本局限，使其难以直接用于生成：

1. 潜在空间不连续：编码器可能将相似输入映射到潜在空间中相距甚远的点，导致在潜在空间随机采样或插值可能产生无意义的重建。 2. 缺乏显式概率模型：AE仅学习一个确定性的映射，未对 $p(\mathbf{z})$ 或 $p(\mathbf{x}|\mathbf{z})$ 做任何分布假设，因此无法计算数据概率或进行真正的随机生成。

尽管如此，自编码器启发了后续所有生成模型的两个关键组件：编码器-解码器架构与潜在空间学习。2013年，Kingma与Welling提出变分自编码器（Variational Autoencoder, VAE），通过引入变分推断，将AE升级为完整的生成模型。

1.2.2 变分自编码器：将生成建模为变分推断

VAE的核心创新在于对潜在变量 $\mathbf{z}$ 施加先验分布（通常为标准正态分布 $\mathcal{N}(0, \mathbf{I})$），并假设解码器输出为条件分布 $p_{\theta}(\mathbf{x}|\mathbf{z})$（如Bernoulli或高斯分布）。由于直接最大化边缘似然 $\log p_{\theta}(\mathbf{x}) = \log \int p_{\theta}(\mathbf{x}|\mathbf{z})p(\mathbf{z}) d\mathbf{z}$ 通常不可解，VAE转而优化其证据下界（Evidence Lower Bound, ELBO）：

$$\log p_{\theta}(\mathbf{x}) \geq \mathbb{E}_{q_{\phi}(\mathbf{z}|\mathbf{x})}[\log p_{\theta}(\mathbf{x}|\mathbf{z})] - D_{\text{KL}}(q_{\phi}(\mathbf{z}|\mathbf{x}) \| p(\mathbf{z})) = \text{ELBO}$$

其中 $q_{\phi}(\mathbf{z}|\mathbf{x})$ 是编码器输出的近似后验分布（通常也设为高斯分布 $\mathcal{N}(\mu_{\phi}(\mathbf{x}), \sigma_{\phi}^2(\mathbf{x}))$）。ELBO由两项组成：重构项（期望解码似然）与正则化项（KL散度，迫使后验接近先验）。

重参数化技巧（Reparameterization Trick）是VAE得以高效训练的关键。通过将随机采样 $\mathbf{z} \sim q_{\phi}(\mathbf{z}|\mathbf{x})$ 表示为 $\mathbf{z} = \mu_{\phi}(\mathbf{x}) + \sigma_{\phi}(\mathbf{x}) \odot \boldsymbol{\epsilon}$，其中 $\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$，梯度可以反向传播通过随机节点，使端到端训练成为可能。

VAE的潜在空间是连续且结构化的：任何从先验 $p(\mathbf{z})$ 采样的点都能通过解码器生成有意义的样本，且邻近点对应平滑的语义变化（如人脸图像的姿态、表情渐变）。这使其在可控生成与表示学习中表现优异。然而，VAE生成的样本常显模糊，这是因为ELBO的优化倾向于保守的均值重建，而非追求高质量细节。这一缺陷在图像生成中尤为明显，直到GAN的出现才被部分克服。

1.2.3 玻尔兹曼机与受限玻尔兹曼机：能量模型的先驱

玻尔兹曼机（Boltzmann Machine, BM）是一种基于能量的概率图模型，其能量函数定义为：

$$E(\mathbf{v}, \mathbf{h}) = -\mathbf{v}^T \mathbf{W} \mathbf{h} - \mathbf{v}^T \mathbf{b} - \mathbf{h}^T \mathbf{c}$$

其中 $\mathbf{v}$ 为可见层（输入数据），$\mathbf{h}$ 为隐层，$\mathbf{W}$ 为权重矩阵，$\mathbf{b}, \mathbf{c}$ 为偏置。联合概率分布由玻尔兹曼分布给出：

$$p(\mathbf{v}, \mathbf{h}) = \frac{1}{Z} e^{-E(\mathbf{v}, \mathbf{h})}$$

其中 $Z$ 为配分函数（partition function），需要对所有可能状态求和，在高维情况下计算不可行。BM的训练目标是最大化数据对数似然 $\log p(\mathbf{v})$，这需要计算条件期望与配分函数梯度，通常采用对比散度（Contrastive Divergence, CD）算法进行近似。

受限玻尔兹曼机（Restricted Boltzmann Machine, RBM）是BM的简化版本，限制可见层与隐层之间无连接，层内无连接。这一约束使得条件分布 $p(\mathbf{h}|\mathbf{v})$ 与 $p(\mathbf{v}|\mathbf{h})$ 可分解为各单元的独立Bernoulli分布，从而可通过 Gibbs 采样高效计算。

RBM曾被视为深度信念网络（Deep Belief Networks, DBNs）的构建块，通过逐层预训练初始化深度网络权重，在深度学习早期（2006-2010年）扮演了关键角色。然而，RBM的训练仍不稳定，采样慢，且难以扩展到复杂高维数据（如自然图像）。它作为能量模型的思想——通过定义能量函数来刻画数据概率——却深刻影响了后来的扩散模型与流模型。扩散模型本质上是一种分层能量模型，而流模型则通过可逆变换实现精确的密度估计。

---

1.3 深度学习生成革命：2014-2020关键突破时间轴

2014年至2020年，生成式AI经历了从对抗训练到扩散过程的范式转移。以下时间轴梳理了这一时期的关键突破及其内在逻辑。

```mermaid gantt title 生成式AI关键突破时间轴 (2014-2024) dateFormat YYYY-MM axisFormat %Y年%m月

section 对抗范式 GAN原始论文 :2014-06, 2014-06 DCGAN :2015-11, 2016-03 WGAN :2016-06, 2017-01

section 变分范式 VAE原始论文 :2013-12, 2014-05 VAE+GAN混合 :2015-12, 2016-05

section 自回归范式 PixelRNN :2016-06, 2016-10 PixelCNN :2016-11, 2017-01 PixelCNN++ :2017-07, 2017-10

section 扩散范式 DDPM前身 :2015-12, 2016-05 Score Matching :2005-01, 2005-06 NCSN :2020-02, 2020-06 DDPM :2020-06, 2020-11 Latent Diffusion :2021-12, 2022-04

section 多模态与规模化 CLIP :2021-01, 2021-05 DALL·E 1 :2021-01, 2021-05 Imagen :2022-05, 2022-09 Stable Diffusion :2022-08, 2022-10 ```

1.3.1 2014：生成对抗网络的诞生

2014年，Ian Goodfellow等人提出生成对抗网络（Generative Adversarial Network, GAN），标志着生成式AI进入对抗训练时代。GAN的框架包含两个玩家：生成器 $G(\mathbf{z})$ 从先验噪声 $\mathbf{z} \sim p_{\mathbf{z}}$ 生成样本，判别器 $D(\mathbf{x})$ 判断输入是真实数据还是生成样本。两者通过 minimax 博弈优化：

$$\min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{\text{data}}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_{\mathbf{z}}}[\log(1 - D(G(\mathbf{z})))]$$

在理想均衡下，生成器完美拟合数据分布，判别器对所有输入都无法判断真伪（$D(\mathbf{x}) = 0.5$）。GAN的革命性在于：

• **无需显式密度建模**：通过对抗过程隐式学习分布，避免了计算配分函数的难题。
• **生成质量飞跃**：首次在自然图像（如MNIST、CIFAR-10）上产生清晰、高分辨率的样本。
• **框架普适性**：可扩展至任意数据模态（图像、文本、音频）。

然而，原始GAN训练极不稳定，常出现模式崩溃（mode collapse，生成器只产生少数几种样本）、梯度消失（判别器过强导致生成器梯度消失）等问题。这些缺陷催生了后续一系列改进。

1.3.2 2015-2017：GAN的成熟与稳定化

深度卷积GAN（DCGAN, 2015）首次将卷积神经网络（CNN）引入GAN，提出了架构设计准则（如用转置卷积替代池化、批归一化、去除全连接层），显著提升了训练稳定性与生成质量，为后续图像生成奠定了基础。

Wasserstein GAN（WGAN, 2017）从理论上解决了原始GAN的缺陷。WGAN使用Wasserstein距离（Earth-Mover距离）替代JS散度，通过权重裁剪（后改为梯度惩罚）约束判别器（此时称 critic）为 Lipschitz 连续函数。WGAN的损失与生成样本质量有更好相关性，训练更稳定，有效缓解模式崩溃。其核心洞见是：度量选择对生成对抗至关重要。

此期间还出现了条件GAN（cGAN）、 progressive GAN（渐进式生成）、StyleGAN（风格迁移生成）等重要变体，不断 pushing 生成质量的上限。到2019年，StyleGAN2已能生成以假乱真的人脸图像，引发社会对深度伪造的广泛关注。

1.3.3 自回归模型的并行发展

与GAN路径并行，自回归模型（Autoregressive Models）在2016年后取得重大进展。这类模型将高维数据的联合概率分解为条件概率的乘积：

$$p(\mathbf{x}) = \prod_{i=1}^{n} p(x_i | \mathbf{x}_{<i})$$

PixelRNN（2016）使用二维LSTM逐像素生成图像，PixelCNN（2016）用因果卷积加速计算。虽然生成速度慢（需顺序采样），但自回归模型训练稳定、理论上完备，能够精确计算似然，在密度估计任务上表现优异。PixelCNN++（2017）进一步引入离散化 logistic 混合似然与残差块，在ImageNet上实现了领先的负对数似然（NLL）。

自回归模型与GAN形成了互补：前者追求精确概率建模但生成慢，后者生成快但难以评估。这一对比为后来扩散模型的出现埋下伏笔——扩散模型试图融合两者的优点。

1.3.4 扩散模型的崛起（2020-至今）

扩散模型（Diffusion Models）的思想可追溯至非平衡热力学：通过一系列前向步骤逐步向数据添加高斯噪声，直至数据变为纯噪声；然后学习反向过程，从噪声中逐步去噪重建数据。

前向过程（固定）定义为马尔可夫链：

$$q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I})$$

其中 $\beta_t$ 为噪声方差调度（variance schedule）。可证明，在任意时刻 $t$，$\mathbf{x}_t$ 可表示为：

$$\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1 - \bar{\alpha}_t} \boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf{I})$$

其中 $\bar{\alpha}_t = \prod_{s=1}^t (1-\beta_s)$。

反向过程