生成式AI导论：历史、范式与视觉生成的崛起

生成式人工智能（Generative AI）正以前所未有的速度重塑我们创造和理解视觉内容的方式。从生成以假乱真的面部图像到创造充满想象力的艺术作品，从修复破损的老照片到生成连贯的视频叙事，生成模型正在突破人类创造力的边界。然而，要真正驾驭这一力量，我们需要深入理解其核心思想、历史脉络与基本范式。本章将作为全书的总纲，系统性地介绍生成式AI的定义与任务范畴，回顾从朴素贝叶斯到深度生成模型的关键演进，阐明生成模型在计算机视觉领域的独特价值，并勾勒出从生成对抗网络的博弈思想到扩散模型的概率流，再到多模态融合的完整技术路线图。同时，我们将明确本书的阅读前提，并为不同背景的读者提供清晰的学习路径，确保你能够扎实地跟随本书步伐，深入这一充满挑战与机遇的领域。

生成式AI的定义与核心思想

在人工智能的广阔图景中，模型通常被分为判别式（Discriminative）与生成式（Generative）两大范式。判别式模型专注于学习决策边界，回答“这是什么？”的问题，例如图像分类器判断一张图片是否为猫，或目标检测器定位物体位置。其核心是估计条件概率分布 $p(y|x)$，其中 $x$ 是输入数据（如图像），$y$ 是标签（如类别）。而生成式模型则试图理解数据的本质，回答“这像什么？”的问题。它致力于学习数据的联合概率分布 $p(x)$，或条件分布 $p(x|y)$，从而能够从潜在空间中采样，生成全新的、与训练数据相似的数据样本 $x$。简言之，判别模型学会区分，而生成模型学会创造。

这种根本区别带来了不同的应用场景。判别式模型在识别、预测任务上表现卓越，但生成式模型开启了数据创造的大门。例如，给定一个噪声向量 $z$，一个训练有素的生成模型可以输出一张逼真的人脸图像 $x = G(z)$，尽管该图像从未在训练集中出现。这种“无中生有”的能力，正是生成式AI最吸引人的地方。

从数学角度看，生成模型的核心目标是建模数据分布。假设我们有一组独立同分布的训练样本 $\{x^{(1)}, x^{(2)}, ..., x^{(N)}\}$，它们来自某个未知的真实分布 $p_{data}(x)$。生成模型的目标是学习一个模型 $p_\theta(x)$，使其尽可能接近 $p_{data}(x)$。一旦 $p_\theta(x)$ 被准确估计，我们就可以通过从先验分布 $p(z)$（如标准正态分布）中采样 $z$，并通过模型生成 $x \sim p_\theta(x|z)$，或直接从 $p_\theta(x)$ 中采样（如流模型）。这种对数据分布的显式或隐式建模，是生成式AI一切能力的基础。

生成模型的核心任务范式

尽管目标都是学习数据分布，但生成模型在具体任务范式上主要分为两类：密度估计（Density Estimation）与样本生成（Sample Generation）。理解这一区分对于把握不同模型的设计哲学至关重要。

密度估计要求模型能够精确计算给定数据点 $x$ 的概率密度 $p_\theta(x)$。这通常需要模型具备可计算且可优化的似然函数。例如，自回归模型（如PixelCNN）通过链式法则将联合概率分解为条件概率的乘积：$p_\theta(x) = \prod_{i=1}^{d} p_\theta(x_i | x_{<i})$，其中 $d$ 是数据维度（如图像像素数）。每个条件概率通常由一个参数化模型（如神经网络）预测，从而允许精确计算对数似然 $\log p_\theta(x)$ 并进行最大似然训练。流模型（Normalizing Flows）则通过一系列可逆变换 $f_\theta$ 将简单分布（如高斯）的变量 $z$ 映射到数据 $x = f_\theta(z)$，利用变量变换公式 $p_\theta(x) = p_z(f_\theta^{-1}(x)) \cdot |\det J_{f_\theta^{-1}}(x)|$ 精确计算密度。密度估计的优势在于其可解释性和精确概率，可用于异常检测、数据压缩等任务，但模型结构往往受到严格限制（如自回归的顺序性、流模型的可逆性），导致生成速度慢或表达能力受限。

样本生成则只要求模型能够从学习到的分布中抽取高质量样本，而不需要显式计算密度。这为模型设计提供了更大的灵活性。生成对抗网络（GAN） 是这一范式的典型代表。它通过一个生成器 $G$ 和一个判别器 $D$ 的 adversarial 博弈，间接学习数据分布：$G$ 试图生成以假乱真的样本欺骗 $D$，而 $D$ 试图区分真实样本与生成样本。训练完成后，$G$ 可以高效地直接从潜在空间采样并生成数据，但 $p_G(x)$ 本身通常无法显式计算。扩散模型也属于样本生成范式，尽管其训练过程涉及对数据添加噪声的似然下界（ELBO）优化，但最终生成需要通过迭代去噪过程，无法直接采样。样本生成模型通常能产生更高质量、更多样化的样本，但训练可能更不稳定（如GAN），或推理速度较慢（如扩散模型）。

在实际应用中，选择哪种范式取决于具体需求。若需要精确概率（如密度估计任务），则优先考虑自回归或流模型；若追求最高样本质量和多样性（如图像合成），则GAN或扩散模型往往是更好的选择。值得注意的是，一些现代模型（如扩散模型）在训练时优化的是似然下界，理论上与密度估计相关，但实际使用中仍被视为样本生成模型，因为其生成过程是迭代的，且精确密度计算不实用。

历史脉络：从统计模型到深度生成模型

生成模型的思想源远流长，其发展历程是一部不断突破表达能力和训练效率限制的奋斗史。理解这段历史，不仅能 appreciating 当前技术的来之不易，更能洞察不同模型设计背后的动机与权衡。

早期统计生成模型

生成式AI的雏形可追溯至经典的朴素贝叶斯（Naive Bayes）分类器。尽管常被用作判别模型，但其本质是生成模型：它通过贝叶斯定理 $p(y|x) \propto p(x|y)p(y)$ 建模，其中 $p(x|y)$ 是类条件分布，通常假设特征间独立（“朴素”之源），从而允许从 $p(x|y)$ 生成样本。例如，在文本分类中，给定类别“体育”，朴素贝叶斯可以生成一篇简单的体育新闻。然而，其强假设限制了表达能力，无法捕捉复杂的高维数据分布。

更强大的工具是高斯混合模型（Gaussian Mixture Model, GMM）。GMM假设数据由多个高斯分布混合而成：$p(x) = \sum_{k=1}^{K} \pi_k \mathcal{N}(x|\mu_k, \Sigma_k)$，其中 $\pi_k$ 是混合系数，$\mu_k$ 和 $\Sigma_k$ 是第 $k$ 个高斯组件的均值和协方差。通过期望最大化（EM）算法，可以估计这些参数。GMM能建模多峰分布，比单一高斯更灵活，但仍受限于高斯形式的假设，且对高维数据（如图像）效果不佳，因为协方差矩阵参数过多，且数据通常非高斯。

这些早期模型奠定了参数化分布建模的思想，但面对图像等高维、结构化数据时，其浅层结构和强假设显得力不从心。深度学习的兴起，尤其是神经网络的强大表示能力，为生成模型带来了革命性的突破。

变分自编码器（VAE）：变分推断与潜在空间

2013年，Kingma和Welling提出的变分自编码器（Variational Autoencoder, VAE） 将变分推断与神经网络结合，开启了深度生成模型的新篇章。VAE的核心思想是学习一个潜在变量模型：假设每个数据点 $x$ 由一个潜在变量 $z$ 生成，$z$ 服从先验分布 $p(z)$（通常为标准正态 $\mathcal{N}(0,I)$），而 $x$ 服从条件分布 $p_\theta(x|z)$（如高斯或伯努利）。目标是最大化数据边际对数似然 $\log p_\theta(x) = \log \int p_\theta(x|z)p(z)dz$，但该积分通常难以计算。

VAE采用变分推断，引入一个近似后验分布 $q_\phi(z|x)$（通常为高斯，参数由编码器网络输出），将似然下界（ELBO）作为代理目标： $$ \log p_\theta(x) \geq \mathbb{E}_{z \sim q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) || p(z)) = \mathcal{L}_{ELBO} $$ 第一项是重建损失，鼓励模型能根据 $z$ 重建 $x$；第二项是正则化项，约束 $q_\phi(z|x)$ 接近先验 $p(z)$，使潜在空间连续且结构化。训练时，通过重参数化技巧（reparameterization trick）使梯度可传播：$z = \mu_\phi(x) + \sigma_\phi(x) \odot \epsilon$，其中 $\epsilon \sim \mathcal{N}(0,I)$。

VAE的贡献是里程碑式的：它首次实现了可微分、端到端的深度生成模型训练，并提供了结构化潜在空间——在潜在空间中插值能得到有意义的中间样本。例如，在人脸数据上，潜在向量的线性插值可以生成从“微笑”到“皱眉”的平滑过渡人脸。然而，VAE生成的样本往往模糊，这是因为ELBO优化倾向于保守的重建，且高斯假设的 $p_\theta(x|z)$ 可能不足以捕捉复杂数据分布。这促使研究者探索更强大的生成范式。

生成对抗网络（GAN）：博弈思想与突破

2014年，Goodfellow等人提出的生成对抗网络（Generative Adversarial Network, GAN） 彻底改变了生成模型的格局。GAN引入了一种全新的对抗训练范式：一个生成器 $G$ 试图将噪声 $z \sim p_z$ 映射到数据空间，生成样本 $G(z)$；一个判别器 $D$ 试图区分真实样本 $x \sim p_{data}$ 和生成样本 $G(z)$。双方通过以下极小极大博弈目标进行训练： $$ \min_G \max_D V(D,G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))] $$ 当训练达到纳什均衡时，理论上 $G$ 完美拟合 $p_{data}$，且 $D$ 对所有样本输出0.5。

GAN的突破性在于：它不依赖于显式的概率密度计算，仅通过判别器的反馈信号来指导生成器。这赋予了GAN生成极其锐利、清晰样本的能力，远超同期VAE。首次在MNIST、CIFAR-10等数据集上，GAN生成的图像质量达到了令人惊叹的水平。很快，DCGAN（2015）确立了卷积架构的标准，StyleGAN系列（2018-2021）通过渐进式生成和风格向量控制，将人脸合成推向了几乎无法与真实照片区分的程度。

然而，GAN的训练以不稳定著称：模式崩溃（mode collapse，生成器只产生少数几种样本）、梯度消失、超参数敏感等问题困扰着实践者。尽管后续提出了Wasserstein GAN（WGAN）、谱归一化、两时间尺度更新规则等技巧来稳定训练，但其理论复杂性仍高于VAE。尽管如此，GAN在需要最高图像质量的场景（如人脸编辑、超分辨率）中长期占据主导，直到扩散模型的崛起。

流模型与自回归模型：精确似然的追求

在VAE和GAN并行发展的同时，另一条路径致力于保持精确似然计算的同时提升表达能力。流模型（Normalizing Flows） 通过一系列可逆、可计算雅可比行列式的变换 $f_\theta$，将简单分布 $p_z(z)$ 的变量变换为复杂分布 $p_\theta(x)$。由于变换可逆，可以精确计算 $p_\theta(x) = p_z(f_\theta^{-1}(x)) \cdot |\det J_{f_\theta^{-1}}(x)|$，从而支持精确最大似然训练。早期工作如NICE（2014）、RealNVP（2016）展示了流模型在高维数据上的潜力，后续的Glow（2018）进一步提升了图像生成质量。流模型的优势是精确概率和高效采样（一次前向传播即可生成），但变换设计受限于可逆性，且模型通常较大。它们在需要概率估计的任务（如语音合成中的声学模型）中有应用，但在图像合成质量上曾一度落后于GAN。

自回归模型（Autoregressive Models） 则沿用了密度估计范式，通过链式法则将联合分布分解为条件分布的乘积：$p_\theta(x) = \prod_{i=1}^{d} p_\theta(x_i | x_{<i})$。PixelRNN/PixelCNN（2016）首次用神经网络实现了这一思想，生成高质量图像，但生成过程必须逐像素顺序进行，速度极慢。后续的PixelCNN++、ImageGPT等优化了架构，但顺序生成的本质限制使其难以应用于高分辨率图像或视频。自回归模型在文本生成中仍有重要地位（如GPT系列），但在视觉领域逐渐被并行生成的模型超越。

扩散模型：概率流与复兴

扩散模型（Diffusion Models） 的思想最早可追溯到2015年的前向-反向过程框架，但直到2020年Ho等人提出去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM） 并取得超越GAN的图像生成质量后，才真正引爆研究热潮。扩散模型受非平衡热力学启发：前向过程（forward process）逐步向数据 $x_0$ 添加高斯噪声，经过 $T$ 步后得到近似标准正态分布的 $x_T$： $$ q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I) $$ 其中 $\beta_t$ 是噪声调度。反向过程（reverse process）则学习从噪声 $x_T$ 逐步去噪恢复数据 $x_0$，通常用一个神经网络（如U-Net）预测每一步的噪声或均值： $$ p_\theta(x_{t-1} | x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_t^2 I) $$ 训练目标简化为预测添加的噪声，损失函数为： $$ \mathcal{L} = \mathbb{E}_{x_0, \epsilon \sim \mathcal{N}(0,I), t} [\| \epsilon - \epsilon_\theta(x_t, t) \|^2] $$ 其中 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\bar{\alpha}_t$ 是噪声积分的乘积。

扩散模型的崛起得益于其训练稳定、模式覆盖好（不易模式崩溃）、生成质量高且理论优美（与分数匹配、随机微分方程SDE深刻联系）。后续工作如DDIM（2021）实现了确定性、更少步数的采样， classifier-free guidance（2021）大幅提升了文本到图像生成的对齐度，Stable Diffusion（2022）通过潜在扩散大幅降低了计算成本。如今，扩散模型已成为视觉内容生成的新范式，并迅速扩展到视频、3D、音频等多模态领域。

发展时间线

下图概括了生成模型从统计时代到深度学习时代的关键里程碑：

```mermaid timeline title 生成模型发展简史（关键节点） 1950s : 朴素贝叶斯 (简单生成假设) 1990s : 高斯混合模型 (GMM) (参数化多峰分布) 2013 : 变分自编码器 (VAE) (变分推断+神经网络) 2014 : 生成对抗网络 (GAN) (对抗博弈，样本质量飞跃) 2015 : 流模型 (NICE, RealNVP) (可逆变换，精确似然) 2016 : 自回归模型 (PixelCNN) (逐像素生成，精确似然) 2020 : 去噪扩散概率模型 (DDPM) (迭代去噪，质量超越GAN) 2021 : DDIM / Classifier-Free Guidance (加速采样，文本引导) 2022 : 潜在扩散 (Stable Diffusion) (高效多模态，普及化) ```

生成模型在计算机视觉中的独特价值

生成模型为计算机视觉（CV）带来的不仅是新算法，更是范式转变。传统CV任务（分类、检测、分割）本质上是判别式的：从像素到标签的映射。而生成模型直接操作像素（或潜在表示）分布，开启了“从噪声到图像”的逆向创造之路。这种能力在以下方面展现出独特价值：

1. 无限制的内容创造：生成模型可以创造出训练数据中不存在的全新视觉内容。例如，StyleGAN能生成不存在但逼真的人脸，扩散模型根据文本描述生成从未有过的场景。这为艺术创作、设计、娱乐产业提供了无限素材，降低了创作门槛。用户只需输入文本提示（prompt），即可获得高质量图像，如Midjourney、DALL-E 2所展示的。

2. 数据增强与合成：在数据稀缺的领域（如医疗影像、卫星图像），生成模型可以合成高质量训练样本，提升下游判别模型的性能。例如，用GAN生成罕见疾病的医学图像，帮助训练更鲁棒的诊断模型。生成的数据还能保护隐私，因为合成样本不来源于真实个体。

3. 图像编辑与修复：生成模型提供了强大的图像操作工具。基于GAN的StyleGAN，通过潜在空间操作可实现年龄变化、表情编辑、属性添加（如微笑、戴眼镜）。扩散模型的inpainting（填充缺失区域）和outpainting（扩展图像边界）效果惊人，能根据上下文合理生成缺失内容。这些技术已广泛应用于Photoshop等工具的AI功能。

4. 超分辨率与质量提升：生成模型能将低分辨率、低质量图像重建为高分辨率、清晰版本。SRGAN（2017）首次用GAN实现照片级超分，

生成模型的核心任务范式（续）

在上一节中，我们区分了密度估计与样本生成两大范式。为了更清晰地理解其在实际模型中的体现，我们可以通过以下对比表格进行总结：

| 特性维度 | 密度估计范式 | 样本生成范式 | | :--- | :--- | :--- | | 核心目标 | 学习并精确计算数据概率密度 $p_\theta