第1章：引言 / Chapter 1: Introduction

生成式人工智能（Generative AI）的爆发性进展，尤其是以DALL-E 2、Stable Diffusion和Midjourney为代表的图像生成模型，以及以ChatGPT、GPT-4为代表的大语言模型，已从学术研究的前沿迅速渗透至设计、娱乐、科研乃至日常决策的每一个角落。这些系统并非单一技术的产物，而是源于生成模型领域长达数十年的范式演进。其核心挑战始终围绕着一个根本性问题：如何让机器学习并再现高维、复杂、多模态数据（如图像、文本、音频）的联合分布 $p_{data}(\mathbf{x})$？从早期的统计语言模型到深度生成模型，研究者们探索了多种截然不同的数学路径，其中最具革命性的两条主线，一是以生成对抗网络（Generative Adversarial Networks, GANs）为代表的对抗训练范式，二是以扩散概率模型（Diffusion Probabilistic Models）为代表的渐进式去噪范式。这两条路径不仅各自解决了生成质量与多样性的不同维度难题，其演进与融合更揭示了生成智能从“模仿”到“理解”的深层逻辑。本书旨在系统性地梳理这一演进脉络，深入剖析对抗训练与扩散过程的数学内核、工程实践及其在跨模态生成中的核心作用，为读者构建一个从理论到应用的完整知识体系。

1. 生成式人工智能：定义、范畴与核心目标

生成式人工智能，广义上指一类能够学习现有数据分布并生成新的、类似的数据样本的人工智能系统。其核心任务是对数据分布 $p_{data}(\mathbf{x})$ 进行建模，并从中采样，即构建一个生成模型 $p_{model}(\mathbf{x}; \theta)$，使得 $p_{model}(\mathbf{x}; \theta) \approx p_{data}(\mathbf{x})$。这与判别式模型（Discriminative Models）形成鲜明对比，后者专注于学习条件分布 $p(y|\mathbf{x})$ 以进行预测或分类。生成模型的目标是“创造”，而非“识别”。

生成模型的范畴随技术发展不断扩展，但其核心家族可归纳为三大范式： 1. 自回归模型（Autoregressive Models）：如PixelCNN、WaveNet、GPT系列，通过链式法则将联合分布分解为条件分布的乘积：$p(\mathbf{x}) = \prod_{i=1}^{n} p(x_i | \mathbf{x}_{<i})$。其优势在于精确的似然计算和稳定的训练，但采样过程串行、缓慢。 2. 隐变量模型（Latent Variable Models）：引入潜在变量 $\mathbf{z}$，定义联合分布 $p(\mathbf{x}, \mathbf{z}) = p(\mathbf{z})p(\mathbf{x}|\mathbf{z})$。通过边际化得到 $p(\mathbf{x}) = \int p(\mathbf{z})p(\mathbf{x}|\mathbf{z}) d\mathbf{z}$。代表包括变分自编码器（VAE） 和生成对抗网络（GAN）。VAE通过变分推断进行近似推理和优化，GAN则通过对抗博弈直接学习数据分布，无需显式定义似然。 3. 扩散模型（Diffusion Models）：通过定义一系列前向扩散过程（逐步添加噪声）和反向去噪过程（学习从噪声中恢复数据），将生成任务转化为一个条件概率建模问题。其训练目标通常与得分匹配（Score Matching） 紧密相关，如去噪分数匹配（Denoising Score Matching）。

```mermaid graph TD A[生成模型核心目标:<br/>建模 p_data(x)] --> B{三大范式}; B --> C[自回归模型<br/>链式分解, 精确似然]; B --> D[隐变量模型<br/>引入潜在变量 z]; B --> E[扩散模型<br/>前向-反向过程]; D --> F[VAE:<br/>变分推断]; D --> G[GAN:<br/>对抗博弈]; E --> H[DDPM:<br/>去噪分数匹配]; E --> I[SDE:<br/>随机微分方程];

C --> J[优点: 稳定, 可计算似然<br/>缺点: 采样慢]; F --> K[优点: 结构清晰, 潜在空间连续<br/>缺点: 生成质量常低于GAN]; G --> L[优点: 生成质量高, 细节逼真<br/>缺点: 模式崩溃, 训练不稳定]; H --> M[优点: 高质量, 高多样性, 训练稳定<br/>缺点: 采样步骤多];

L & M --> N[当前主流: 扩散模型<br/>融合思想: 对抗训练用于加速采样]; ```

这些范式并非相互排斥，实践中常存在融合。例如，扩散模型的采样可通过对抗训练进行加速；GAN的生成器可视为学习了一个确定性的反向过程。理解其数学本质与演进逻辑，是把握生成模型当前格局与未来方向的关键。

2. 历史演进脉络：从统计模型到深度生成革命

生成模型的演进史，是一部不断突破数据复杂度与计算瓶颈的斗争史。其发展可大致划分为四个阶段，每个阶段都伴随着核心数学思想的变革。

第一阶段：统计生成模型时代（20世纪50年代-90年代）。早期生成模型根植于概率统计，核心是n-gram语言模型和隐马尔可夫模型（HMM）。n-gram模型基于马尔可夫假设，通过统计词序列的联合概率分布 $p(w_1, ..., w_T) = \prod_{t=1}^{T} p(w_t | w_{t-n+1}, ..., w_{t-1})$ 来生成文本。尽管简单，但面临数据稀疏性与维度诅咒的严峻挑战。HMM则通过引入隐藏状态序列，为序列生成提供了更灵活的框架，但其对状态独立性和观测独立性的强假设限制了表达能力。

第二阶段：神经网络复兴与浅层生成模型（2000年代-2013年）。随着深度学习的兴起，神经网络被用于构建更强大的生成模型。受限玻尔兹曼机（RBM） 及其堆叠版本深度信念网络（DBN） 成为早期明星。RBM通过能量模型定义概率分布 $p(\mathbf{x}) = \frac{1}{Z} e^{-E(\mathbf{x})}$，使用对比散度（CD）进行近似训练。尽管为深度生成模型带来了希望，但其训练仍复杂且不稳定，生成质量有限。同期，去噪自编码器（DAE） 提出通过从损坏输入中重建数据来学习数据流形，其训练目标 $\mathbb{E}_{x, \tilde{x}}[||x - D(\tilde{x})||^2]$ 与分数匹配产生了深刻联系，为后来的扩散模型埋下伏笔。

第三阶段：深度生成模型的爆发与GAN的统治（2014-2020年）。2014年，Goodfellow等人提出的生成对抗网络（GAN） 彻底改变了生成模型的格局。GAN引入了一种全新的对抗训练范式：一个生成器 $G$ 试图从先验噪声 $p_z(\mathbf{z})$ 生成逼真样本 $G(\mathbf{z})$，一个判别器 $D$ 则努力区分生成样本与真实数据。二者通过极小极大博弈优化价值函数： $$ \min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{data}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_z}[\log(1 - D(G(\mathbf{z})))] $$ GAN的突破在于，它绕过了显式密度估计的困难，直接通过博弈在样本空间进行优化，从而产生了前所未有的高分辨率、高保真度图像。后续的DCGAN、WGAN、StyleGAN等一系列工作，通过架构设计（卷积、归一化）、损失函数改进（Wasserstein距离、感知损失）和渐进式训练，不断 pushed the state-of-the-art。然而，GAN的固有缺陷也日益凸显：训练不稳定、模式崩溃（Mode Collapse） ——即生成器只覆盖数据分布的少数模式，导致多样性丧失。这些缺陷源于其非凸非合作的博弈本质，理论分析困难，超参数敏感。

第四阶段：扩散模型的复兴与范式转移（2020年至今）。尽管扩散模型的思想可追溯至2015年Sohl-Dickstein的工作和2015年Song & Ermon的分数匹配生成模型，但直到2020年Ho等人提出的去噪扩散概率模型（DDPM） 及其与分数匹配的深刻联系被重新发现，该领域才迎来爆发。扩散模型的核心思想是将生成过程视为一个马尔可夫链：前向过程 $q(\mathbf{x}_t | \mathbf{x}_{t-1})$ 逐步向数据添加高斯噪声，最终得到近似标准正态分布的 $\mathbf{x}_T$；反向过程 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$ 则学习从噪声中逐步去噪，重建数据。其训练目标简化为预测添加到数据中的噪声： $$ \mathcal{L}_{simple} = \mathbb{E}_{t, \mathbf{x}_0, \epsilon} [ || \epsilon - \epsilon_\theta(\mathbf{x}_t, t) ||^2] $$ 其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t} \mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\epsilon \sim \mathcal{N}(0, \mathbf{I})$。扩散模型的优势在于：训练极其稳定（简单的均方误差损失）、理论优美（与概率流常微分方程、随机微分方程、分数匹配的等价性）、生成质量与多样性俱佳，有效避免了模式崩溃。其代价是采样过程需要多步迭代（通常50-1000步），速度慢于GAN。后续的改进，如DDIM（非马尔可夫采样加速）、潜在扩散模型（LDM，在潜空间操作以降低计算成本）、一致性模型（Consistency Models，一步生成）等，都在不断缩小与GAN的采样效率差距。

这一演进主线清晰地展示了从博弈论视角（GAN）到概率论视角（扩散）的范式转移。GAN追求的是分布间的“对抗”与“欺骗”，而扩散模型追求的是分布间“概率路径”的精确建模。后者提供了更坚实、更可分析的理论基础，这或许是其在学术界迅速成为主流并反向影响工业界（如DALL-E 2、Imagen、Stable Diffusion均基于扩散）的核心原因。

3. 生成模型的核心挑战：质量、多样性、可控性与效率

尽管生成模型取得了巨大成功，但其核心挑战依然存在，且相互制约。深入理解这些挑战，是评估模型优劣、指导未来研究的基础。

挑战一：模式崩溃与多样性缺失（Mode Collapse & Lack of Diversity）。这是GAN最著名的缺陷，但也普遍存在于其他生成模型。当生成器发现某个或某几个能“骗过”判别器的样本模式后，可能过度优化这些模式，而完全忽略数据分布的其他区域。这导致生成样本缺乏多样性，甚至在极端情况下，所有生成样本趋同。从数学上看，这对应于生成分布 $p_g$ 无法覆盖真实分布 $p_d$ 的所有支撑集。扩散模型通过其训练目标（预测任意噪声水平的噪声）和采样过程的随机性，天然缓解了此问题，但并非完全免疫。在条件生成中，条件信息不足仍可能导致条件模式崩溃。

挑战二：训练不稳定与收敛难题（Training Instability & Convergence）。GAN的训练是一场不稳定的二人零和博弈。判别器过强会导致生成器梯度消失；判别器过弱则无法提供有效学习信号。二者进化的不平衡极易导致震荡或发散。理论分析表明，GAN的纳什均衡点可能不存在，或即便存在，标准的随机梯度下降也无法保证收敛。相比之下，扩散模型的训练目标（预测噪声）是一个标准的监督学习问题，极其稳定。VAE的训练虽涉及变分下界（ELBO）的优化，但其重构损失与KL散度之间的权衡也需要小心调整。

挑战三：生成质量与多样性的权衡（Quality-Diversity Trade-off）。在有限容量和训练数据下，模型往往难以同时达到极致的单个样本质量和全面的分布覆盖。例如，早期GAN以高保真度著称但多样性不足；某些VAE则生成模糊但多样化的样本。评估这一权衡需要综合指标，如Fréchet Inception Distance（FID） 衡量分布相似性，Inception Score（IS） 衡量清晰度与多样性，以及精确率与召回率（Precision & Recall） 的精确分离。扩散模型在FID上通常表现优异，表明其能同时实现高质量与高多样性。

挑战四：可控性与编辑能力（Controllability & Editability）。生成模型不仅要“生成得像”，更要“生成得准”。用户期望通过文本、草图、姿态等条件精确控制生成内容。这涉及到条件生成建模和潜在空间解耦。在GAN中，通过条件BatchNorm或投影层实现条件控制；StyleGAN的Style向量提供了对语义属性（如发型、年龄）的精细控制。在扩散模型中，通过 classifier-free guidance（无分类器引导）等技术，可以显著增强文本等条件的控制力，但其潜在空间的可解释性与线性插值特性通常不如GAN的W空间或StyleSpace直观。如何实现高精度、细粒度的语义控制，仍是开放问题。

挑战五：计算效率与采样速度（Computational Efficiency & Sampling Speed）。扩散模型通常需要数十到上千步迭代采样，计算成本高昂。尽管DDIM、PLMS等采样器可加速，但仍远慢于GAN的单次前向传播。一致性模型、渐进式蒸馏等方向致力于实现一步或几步生成，但可能牺牲部分质量。对于实时应用（如视频生成、交互式设计），采样效率是扩散模型普及的关键瓶颈。

挑战六：评估难题（Evaluation Challenge）。生成模型的评估本身就是一个未解难题。基于预训练分类器（如Inception）的FID和IS虽广泛使用，但存在对模型架构、数据集分布的敏感性，且无法评估细粒度属性。人类评估虽为金标准，但成本高昂、主观性强。缺乏统一、鲁棒、自动化的评估体系，阻碍了模型间的公平比较和研究的可复现性。

这些挑战相互交织。例如，提升可控性可能以多样性为代价；加速采样可能降低生成质量。本书将在后续章节中，详细分析对抗训练与扩散过程如何各自应对这些挑战，以及它们融合后的新可能性。

4. 技术范式演进主线：对抗博弈到概率流

从GAN到扩散模型的演进，不仅是技术方案的更迭，更是对“如何建模复杂分布”这一根本问题的哲学与数学视角的深化。理解这条主线，是把握本书核心思想的钥匙。

GAN：对抗博弈与分布对齐。GAN的核心创新在于将生成问题转化为一个两人零和博弈。生成器 $G$ 和判别器 $D$ 的目标函数相互对立： $$ \min_G \max_D V(D, G) $$ 从博弈论角度看，此博弈的（局部）纳什均衡满足 $p_g = p_d$，且此时判别器 $D^*(\mathbf{x}) = \frac{p_d(\mathbf{x})}{p_d(\mathbf{x}) + p_g(\mathbf{x})} = 0.5$。这意味着，在理想均衡下，生成器完美复现了数据分布。然而，GAN的实践远非如此理想。其训练动态缺乏全局收敛保证，且实践中常陷入模式崩溃或振荡。WGAN通过引入Wasserstein距离，提供了更平滑的梯度，部分缓解了训练问题，但其理论最优解 $D^*$ 依赖于最优传输，实践中仍用神经网络近似。GAN的数学本质是通过一个判别器间接定义并优化一个生成器的分布，这是一种间接、博弈驱动的分布估计。其优点在于无需显式定义似然，采样快；缺点在于理论难以分析，训练脆弱。

VAE：变分推断与重构-正则化权衡。VAE采用完全不同的路径：显式定义生成模型 $p_\theta(\mathbf{x}|\mathbf{z})p(\mathbf{z})$ 和变分后验 $q_\phi(\mathbf{z}|\mathbf{x})$，并通过最大化证据下界（ELBO）进行优化： $$ \log p(\mathbf{x}) \geq \mathbb{E}_{z \sim q_\phi}[\log p_\theta(\mathbf{x}|\mathbf{z})] - D_{KL}(q_\phi(\mathbf{z}|\mathbf{x}) || p(\mathbf{z})) = \mathcal{L}_{ELBO} $$ ELBO的第一项是重构损失，鼓励模型保留输入信息；第二项是正则化项，约束后验接近先验（通常为标准正态），保证潜在空间连续且结构化。这种结构化的潜在空间是VAE的显著优势，便于插值、语义操作。然而，重构损失（常为MSE或交叉熵）的强烈约束，以及高斯假设的近似，常导致生成样本模糊。后续的改进（如VQ-VAE、NVAE）通过向量量化、更优架构等提升了质量，但其核心范式未变：变分推断下的显式密度估计。

扩散模型：概率路径与分数匹配。扩散模型提供了一种更直接、更物理的分布建模视角。其前向过程定义了一个固定的马尔可夫链，逐步将数据 $\mathbf{x}_0$ 转化为噪声 $\mathbf{x}_T$： $$ q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t} \mathbf{x}_{t-1}, \beta_t \mathbf{I}), \quad q(\mathbf{x}_{1:T} | \mathbf{x}_0) = \prod_{t=1}^{T} q(\mathbf{x}_t | \mathbf{x}_{t-1}) $$ 关键洞察是：任意时刻 $t$ 的噪声数据 $\mathbf{x}_t$ 的条件均值 $\mathbf{x}_0$ 可通过反向过程 $p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t)$ 的参数化来学习。通过重参数化技巧和马尔可夫性质，训练目标可简化为预测添加的噪声 $\epsilon$，如上文 $\mathcal{L}_{simple}$ 所示。这一定理的证明依赖于Tweedie公式与分数匹配的深刻联系：学习反向过程等价于学习数据分布的对数概率的梯度（即得分函数） $\nabla_{\mathbf{x}