生成式AI概述：从概率建模到深度生成 | Overview of Generative AI: From Probabilistic Modeling to Deep Generation

生成式人工智能（Generative AI）代表了人工智能领域最为引人入胜的发展方向之一——从识别模式到创造新内容，这一跨越标志着机器从被动的感知者转变为主动的创造者。与判别式模型（Discriminative Model）专注于分类或回归任务不同，生成式模型致力于学习数据的潜在分布，并基于学习到的分布生成全新的、从未见过的样本。这种能力不仅具有理论上的深刻意义，更在实际应用中展现出巨大的价值：从图像合成、艺术创作，到药物发现、材料设计，生成式模型正在重塑众多行业的技术格局。

理解生成式AI的核心挑战在于把握一个根本性的问题：机器如何学会“创造”？在统计学和概率论的框架下，这个问题被重新表述为：如何从有限的观测数据中推断出生成这些数据的潜在概率分布，并基于该分布生成新的样本？这看似简单的表述实际上涵盖了机器学习中最为深刻和困难的问题之一。从20世纪初的统计学萌芽，到20世纪中叶的隐变量模型兴起，再到21世纪深度学习带来的革命性突破，生成式建模经历了漫长而精彩的发展历程。

本章将建立理解生成式AI系统所需的基础框架。我们将从概率生成模型的历史演进出发，追溯从早期统计方法到现代深度学习方法的演变脉络。在介绍核心概念的过程中，我们将重点阐述基于似然的模型（likelihood-based models）与隐式生成模型（implicit generative models）之间的本质区别，以及潜变量模型（latent variable models）在现代生成式框架中的核心地位。我们将详细分析样本质量（sample quality）与多样性（diversity）之间的基本权衡，这是评估和比较不同生成方法时必须考虑的关键因素。

在建立概念基础之后，我们将提供生成方法的系统分类体系，涵盖当前最为重要的五类模型：自回归模型（Autoregressive Models）、变分自编码器（Variational Autoencoders, VAE）、归一化流（Normalizing Flows）、生成对抗网络（Generative Adversarial Networks, GAN）以及扩散模型（Diffusion Models）。每一类模型都有其独特的理论基础、学习机制和适用场景，理解它们之间的联系与区别对于选择合适的生成方法至关重要。

数学基础是深入理解生成式模型的必要条件。我们将系统回顾KL散度（Kullback-Leibler Divergence）在衡量概率分布差异中的作用，最大似然估计（Maximum Likelihood Estimation, MLE）作为学习概率模型的核心方法，以及证据下界（Evidence Lower Bound, ELBO）这一连接变分推断与深度学习的桥梁概念。这些数学工具不仅为后续章节的深入讨论奠定基础，也为我们理解当前最先进的生成模型提供了必要的理论支撑。

本章的最后部分将分析当前生成式AI的技术格局，评估不同方法的优缺点，并展望这一快速演进领域的新兴趋势。通过本章的学习，读者将获得理解后续章节中各类生成模型具体技术细节所需的概念框架和理论基础，为深入探索生成式AI的丰富世界做好充分准备。

概率生成模型的历史演进

生成式建模的思想可以追溯到统计学和概率论发展的早期阶段。20世纪初，Pearson和Fisher等统计学先驱的工作为理解数据分布和参数估计奠定了基础。在那个时代，生成模型通常以显式的概率分布形式出现，例如正态分布、泊松分布等参数化分布。统计学家们关注的核心问题是如何从观测数据中估计这些分布的参数，这一问题至今仍是生成式建模的核心议题之一。

隐变量模型（Latent Variable Models）的发展是生成式建模历史上的重要里程碑。1904年，Spearman在因子分析（Factor Analysis）中的开创性工作首次提出了通过隐变量解释观测数据相关性的思想。因子分析假设观测到的高维数据是由少数几个低维隐变量通过线性变换生成的，这一思想深刻影响了后续的许多生成模型设计。现代变分自编码器中的潜空间概念就可以追溯到因子分析的这些早期思想。

20世纪80年代至90年代，隐马尔可夫模型（Hidden Markov Models, HMM）和贝叶斯网络（Bayesian Networks）的发展进一步丰富了隐变量模型的理论体系。HMM在语音识别和生物信息学中的成功应用证明了隐变量模型处理时序数据的强大能力。与此同时，期望最大化算法（Expectation-Maximization, EM）作为学习隐变量模型的标准方法被广泛采用。EM算法通过迭代地执行E步（计算隐变量的期望）和M步（最大化似然）来学习模型参数，这一框架至今仍在许多生成模型中使用。

最大似然估计作为学习概率模型的核心方法，其理论基础在20世纪得到了充分的发展。Fisher的似然原理和渐近理论为理解MLE的性质提供了数学支撑。然而，研究者们逐渐认识到，直接优化数据似然在许多复杂模型中是不可行的——似然函数可能难以计算，或者优化过程会陷入局部最优。这一认识推动了近似推断技术的发展，也为现代深度生成模型中各种学习和推断方法的出现埋下了伏笔。

深度学习在2010年代的兴起为生成式建模带来了革命性的变化。神经网络不再仅仅作为判别式分类器使用，而是被重新设计为能够表达复杂概率分布的函数逼近器。这一转变的代表包括2013年的变分自编码器、2014年的生成对抗网络，以及随后发展出的归一化流、自回归模型和扩散模型等。这些模型将深度学习的表示学习能力与概率建模的框架相结合，使得对高维复杂数据（如自然图像、音频、文本）的生成式建模成为可能。

值得注意的是，不同的深度生成模型反映了不同的设计哲学和权衡考量。生成对抗网络通过对抗训练隐式地学习数据分布，绕过了显式似然计算的困难；变分自编码器通过引入潜变量和变分推断提供了可解释的生成机制；扩散模型则通过逐步去噪的过程在样本质量和训练稳定性之间取得了良好的平衡；而自回归模型通过显式建模数据分布的链式分解实现了精确的似然计算和高质量样本生成。这些不同的方法路径共同构成了现代生成式AI的技术版图。

核心概念与理论基础

基于似然的模型与隐式生成模型

理解生成式模型首先要区分两类本质不同的建模方法：基于似然的模型（Explicit Likelihood Models）和隐式生成模型（Implicit Generative Models）。这一区分不仅关乎模型的数学表述，更反映了设计理念上的深刻差异。

基于似然的模型明确指定一个概率分布$p_{\theta}(x)$作为数据$x$的模型，其中$\theta$为模型参数。对于连续型数据，这通常是一个概率密度函数；对于离散型数据，则是一个概率质量函数。模型的核心组件是一个可计算的似然函数$p_{\theta}(x)$，使得我们能够直接评估任意数据点的概率，并通过最大化观测数据的似然来学习参数。基于似然的模型的优势在于具有明确的概率语义，我们可以计算对数似然$\log p_{\theta}(x)$来评估模型对数据的拟合程度，也可以计算困惑度（Perplexity）等指标来诊断模型的性能。

变分自编码器、归一化流、自回归模型和标准化流（已经包含在前述类别中）都属于基于似然的模型范畴。以自回归模型为例，数据的联合分布被分解为条件分布的乘积：

$$p_{\theta}(x_1, x_2, ..., x_D) = p_{\theta}(x_1) \cdot p_{\theta}(x_2|x_1) \cdot p_{\theta}(x_3|x_1,x_2) \cdots p_{\theta}(x_D|x_1,...,x_{D-1})$$

其中每个条件分布可以通过神经网络建模。这种分解使得我们可以精确计算任意样本的对数似然$\log p_{\theta}(x) = \sum_{d=1}^{D} \log p_{\theta}(x_d|x_{<d})$。然而，这种精确性是有代价的——自回归模型通常需要顺序地生成样本，推理速度较慢。

隐式生成模型不显式指定数据的概率分布，而是通过定义一个生成过程来直接产生样本。生成对抗网络是隐式生成模型的典型代表，其核心思想是训练一个生成器网络$G$，将随机噪声$z$映射到数据空间，使得生成的样本分布$q_G$尽可能接近真实数据分布$p_{data}$。与基于似然的模型不同，我们无法直接计算$q_G(x)$或$\log q_G(x)$——我们只能通过生成样本来评估分布的特性。

GAN的隐式特性带来了独特的优势和挑战。由于不需要计算似然，GAN能够处理难以指定显式概率分布的复杂数据，如自然语言或强化学习中的序列数据。同时，GAN在某些任务上展现出卓越的样本质量，能够生成清晰锐利的图像。然而，缺乏似然也意味着无法使用标准的信息论指标来评估模型，训练过程可能不稳定，且存在模式坍缩（mode collapse）等特有的问题。

潜变量模型与表示学习

潜变量模型（Latent Variable Models）是现代生成式AI的核心支柱之一。其基本思想是假设观测数据$x$是由一些不可直接观测的隐变量$z$生成的。在深度生成模型的语境下，潜变量$z$通常具有较低的维度，构成数据的压缩表示（compressed representation）。

潜变量模型的形式化表述可以通过联合分布来理解：

$$p_{\theta}(x) = \int p_{\theta}(x|z) p(z) dz$$

其中$p(z)$是先验分布（通常选择简单的分布如标准正态分布），$p_{\theta}(x|z)$是似然函数或解码器（decoder），将潜变量映射到数据空间。这个积分通常是不可计算的，因为需要在整个潜空间上进行积分。对于高维潜变量和复杂的似然函数，精确推断后验分布$p(z|x) = p_{\theta}(x|z)p(z)/p_{\theta}(x)$同样是不可行的。

变分推断（Variational Inference）提供了一种处理这一挑战的方法。变分自编码器的核心创新在于引入一个识别网络（encoder）$q_{\phi}(z|x)$来近似真实但不可计算的后验分布$p(z|x)$，并通过优化一个下界——证据下界（ELBO）——来同时学习生成模型和识别网络。ELBO的推导将在后续数学基础部分详细讨论。

潜变量模型的一个关键优势是其提供的表示空间（representation space）。在VAE中，潜变量$z$可以被理解为数据的可解释因子（interpretable factors），我们可以通过操控$z$来控制生成样本的属性。例如，在人脸图像生成任务中，潜空间的某些方向可能对应于微笑、年龄、发型等语义特征。这种可解释性使得潜变量模型在可解释AI和可控生成等领域具有独特的价值。

与自编码器框架相关的还有自监督表示学习中的对比学习方法，如SimCLR、MoCo等。虽然这些方法不直接用于生成，但它们学习的表示与潜变量模型有着深刻的联系。对比学习通过区分相似和不相似的样本对来学习数据的表示，这种学习目标与生成模型中重建目标形成有趣的对比。

样本质量与多样性的权衡

评估生成模型时，样本质量（sample quality）和样本多样性（sample diversity）是两个核心维度。然而，这两者之间常常存在权衡关系，理解这一权衡对于理解不同生成方法的设计选择至关重要。

样本质量衡量生成样本与真实数据之间的相似程度。在图像生成任务中，高质量的样本应当具有清晰的细节、自然的纹理、正确的几何结构等特征。Inception Score（IS）和Frechet Inception Distance（FID）是评估图像生成质量的常用指标。IS通过预训练的Inception网络的输出评估生成样本的类别预测清晰度和多样性；FID则通过比较真实样本和生成样本在Inception特征空间中的分布距离来评估整体质量。

样本多样性衡量生成模型捕获数据分布多样性的能力。一个具有高多样性的生成模型应当能够生成覆盖数据分布所有模式的样本，而非仅仅集中在某些常见模式上。模式坍缩（mode collapse）是多样性不足的典型表现，此时生成器只产生有限的几种样本，忽略数据分布中的其他重要模式。

理论上，质量与多样性的权衡可以被精确地表述。在概率分布的框架下，分布的锐化（sharpening）可以提高样本质量但会降低多样性；反之，分布的模糊化（blurring）会增加多样性但会损害质量。KL散度$KL(p||q)$和反向KL散度$KL(q||p)$的选择反映了不同的权衡策略：前者倾向于覆盖所有模式但可能包含不准确的样本，后者倾向于精确匹配某些模式但可能忽略其他模式。

不同的生成方法在质量-多样性权衡上展现出不同的特性。GAN通常能够生成高质量的样本，但训练不稳定且容易出现模式坍缩；VAE通过平滑的潜空间提供了良好的多样性，但样本质量（尤其是清晰度）通常不如GAN；扩散模型通过逐步去噪的过程在两个维度上都取得了优异的表现，但推理速度较慢；自回归模型提供了精确的似然控制，但顺序生成限制了推理效率。这些权衡的具体表现将在后续章节详细分析各类模型时进一步讨论。

生成方法的分类体系

现代生成式AI的技术版图主要由五类核心模型构成：自回归模型、变分自编码器、归一化流、生成对抗网络和扩散模型。每一类模型都有其独特的理论基础、优势和局限性，理解它们之间的联系与区别对于选择合适的生成方法至关重要。

自回归模型

自回归模型（Autoregressive Models, ARM）通过将数据的联合分布分解为条件分布的乘积来实现生成式建模。这一分解利用了概率论中的链式法则，使得复杂的高维分布可以通过一系列条件分布来建模。在图像生成的语境下，像素或像素块的生成顺序被精心设计，使得每个新生成的元素只依赖于之前生成的部分。

WaveNet是自回归模型在音频生成领域的开创性工作。该模型将原始音频波形视为离散token序列，使用扩张因果卷积（dilated causal convolutions）来建模长距离依赖关系。WaveNet生成的语音在自然度上达到了接近人类水平的表现，为自回归模型处理序列数据提供了有力证明。在图像领域，PixelRNN和PixelCNN分别使用循环神经网络和卷积神经网络来实现自回归建模，虽然生成质量优秀，但顺序生成的特性导致推理速度成为瓶颈。

Transformer架构的出现为自回归模型带来了新的发展机遇。Vision Transformer（ViT）将图像划分为patch序列，使得标准的Transformer可以应用于图像建模。更重要的是，Transformer的自注意力机制能够更有效地捕捉图像中的长距离依赖关系。大规模Transformer模型如DALL-E、Parti等在文本到图像生成任务上展现出卓越的能力，它们将文本描述作为条件，通过自回归地生成图像token来创建符合文本描述的图像。

自回归模型的核心优势在于其精确的似然计算能力。由于联合分布被分解为可计算的条件分布的乘积，我们可以精确地计算任意样本的对数似然，这使得模型评估和比较变得更加客观。同时，精确的似然优化确保了模型学习到的分布与真实分布之间的匹配，理论上保证了良好的样本多样性。然而，顺序生成的特性也带来了明显的劣势：推理过程必须按顺序进行，无法并行化，导致生成速度远慢于其他方法。对于高分辨率图像，这一问题尤为突出。

变分自编码器

变分自编码器（Variational Autoencoder, VAE）由Kingma和Welling于2013年提出，代表了将深度学习与变分推断相结合的里程碑式工作。VAE的核心创新在于将自编码器的框架与概率图模型的变分推断相结合，提供了一个可训练的生成式模型。

VAE的架构包含两个主要组件：编码器（encoder）$q_{\phi}(z|x)$和解码器（decoder）$p_{\theta}(x|z)$。编码器将观测数据映射到潜空间，输出潜变量的均值和方差参数；解码器接收潜变量并重建数据，输出数据的分布参数。模型的学习目标是通过最大化观测数据的边际似然的下界——即证据下界（ELBO）——来同时学习编码器和解码器参数。

VAE的数学框架可以从信息论和变分推断的角度深入理解。ELBO可以分解为重建损失和正则化项两部分：

$$\mathcal{L}(\theta, \phi; x) = \mathbb{E}_{q_{\phi}(z|x)}[\log p_{\theta}(x|z)] - KL(q_{\phi}(z|x) || p(z))$$

第一项是重建损失，衡量给定潜变量时解码器重建原始数据的能力；第二项是KL散度正则化项，强制编码器输出接近先验分布$p(z)$。这种双目标结构使得VAE习得的潜空间具有特殊的结构性质：先验约束确保了潜空间的平滑性和可解释性，而重建目标确保了潜表示携带足够的信息来重建数据。

VAE的主要优势包括：提供了可解释的潜空间，使得插值、操控等操作成为可能；训练过程稳定，可以使用标准的随机梯度下降方法；支持高效的潜变量采样，可以快速生成新样本。然而，VAE也存在明显的局限性：由于优化的是似然下界而非精确似然，模型的学习目标与真实目标之间存在间隙；重建质量通常不如GAN，图像往往较为模糊；先验假设（通常为标准正态分布）限制了模型表达能力。

后续研究提出了多种改进方案。$\beta$-VAE通过调整KL项的权重来控制潜空间的解纠缠程度；VQ-VAE使用向量量化层替代变分推断，消除了后验崩塌的问题；VAE-GAN将对抗训练引入VAE框架以改善重建质量。这些变体在不同的应用场景中展现出各自的优势。

归一化流

归一化流（Normalizing Flows, NF）代表了基于似然的生成建模中的一条独特路径。与VAE通过变分推断近似不可计算的似然不同，归一化流通过构造可逆变换来精确计算数据的概率密度。

归一化流的核心思想是将复杂的数据分布通过一系列可逆变换映射到简单的先验分布。设$x$为数据空间中的样本，$z$为潜空间中的样本，变换$f_{\theta}: \mathcal{X} \to \mathcal{Z}$是可逆且可微的。通过变量变换公式（change of variables formula），我们可以精确计算$x$的似然：

$$p_{\theta}(x) = p_{\mathcal{Z}}(f_{\theta}(x)) \left| \det \frac{\partial f_{\theta}}{\partial x} \right|$$

其中$|\det \frac{\partial f_{\theta}}{\partial x}|$是变换的雅可比行列式的绝对值。由于变换是可逆的，我们也可以通过$z = f_{\theta}(x)$和$x = f_{\theta}^{-1}(z)$进行双向变换，这使得归一化流既是生成模型又是推理模型。

为了使上述计算高效可行，归一化流需要精心设计变换结构。RealNVP使用仿射耦合层（aff