生成式AI基础：概率模型、评估指标与核心范式

生成式人工智能（Generative AI）的终极目标是学习并再现数据的真实分布。给定一个数据集 $\mathcal{D} = \{x^{(1)}, x^{(2)}, \dots, x^{(N)}\}$，其中每个样本 $x^{(i)}$ 来自未知的真实分布 $p_{data}(x)$，生成式模型旨在构建一个参数化模型 $p_\theta(x)$，使得 $p_\theta(x)$ 尽可能接近 $p_{data}(x)$。这一目标不仅是技术追求，更是连接概率论、优化理论与实际应用的桥梁——只有精准捕捉数据分布，模型才能生成高质量、多样化的新样本，从而在图像合成、文本创作、分子设计等领域发挥价值。然而，$p_{data}(x)$ 通常极其复杂且高维，直接建模几乎不可能，因此生成式AI的发展史就是一部人类用巧妙的数学工具与计算架构逼近复杂分布的探索史。从早期的朴素贝叶斯到现代的扩散模型，核心范式始终围绕两个基本问题展开：如何高效表示高维概率分布，以及如何评估表示的质量。本章将系统梳理这些基础概念，为后续深入理解生成对抗网络（GAN）、变分自编码器（VAE）与扩散模型（Diffusion Models）奠定统一的理论基础。

1.1 生成式建模的本质：从数据分布到样本生成

生成式建模的核心任务可形式化为：给定独立同分布样本 $x^{(i)} \sim p_{data}(x)$，寻找参数 $\theta$ 使得模型分布 $p_\theta(x)$ 与 $p_{data}(x)$ 的差异最小化。这一差异通常通过概率 divergence 度量，如 KL 散度 $\text{KL}(p_{data} \| p_\theta)$ 或 Jensen-Shannon 散度。理想情况下，若 $p_\theta = p_{data}$，则模型能生成与真实数据无法区分的样本。然而，直接优化这些 divergence 往往需要计算 $p_{data}(x)$ 的密度，而这在连续高维空间（如图像）中不可行。因此，生成式模型的发展呈现出两条主要技术路径：显式密度估计（Explicit Density Estimation）与隐式生成（Implicit Generation）。

显式密度估计方法试图直接参数化并计算 $p_\theta(x)$ 的归一化概率密度函数，从而能够评估任意样本的似然值。这类模型包括基于归一化流的连续可逆变换、自回归模型等。其优势在于提供完整的概率描述，便于进行概率推断与密度估计，但受限于归一化常数计算的高复杂度，通常难以扩展到极高维数据。

隐式生成则绕过显式密度计算，直接学习一个从简单先验分布（如标准正态分布 $\mathcal{N}(0,I)$）到数据分布的映射 $G: z \sim p(z) \mapsto x \in \mathbb{R}^d$。生成样本的分布由 $p_G(x) = \int p(z) \delta(x - G(z)) dz$ 隐式定义，无需计算归一化常数。生成对抗网络（GAN）是这一范式的典型代表，通过对抗训练使 $p_G$ 逼近 $p_{data}$。隐式方法的优势在于灵活性高、采样效率高，但通常缺乏显式密度评估能力，且训练稳定性常面临挑战。

理解这两种范式的根本区别，是把握生成式AI技术演进的关键。后续章节将详细展开，但首先需要建立评估模型性能的客观标准——若无法衡量，便无法改进。

1.2 评估生成模型的指标体系

评估生成模型是一项极具挑战性的任务，因为理想评估应同时满足三个相互制约的目标：真实性（生成的样本是否像真实数据）、多样性（是否覆盖数据分布的所有模式）、保真度（在给定条件或语义下的准确程度）。没有任何单一指标能完美捕捉所有维度，实践中往往需要组合多个指标。以下将分类介绍核心评估指标，并分析其数学原理与适用场景。

1.2.1 基于对数似然的评估：ELBO 与 Its 局限性

对于显式密度估计模型，最自然的评估标准是对数似然（Log-Likelihood）：$\log p_\theta(x)$。在测试集上计算平均对数似然 $\frac{1}{M}\sum_{i=1}^M \log p_\theta(x^{(i)})$，值越高表明模型对数据分布的拟合越好。然而，对于许多生成模型（尤其是涉及隐变量的模型），精确计算 $\log p_\theta(x)$ 是 intractable 的。变分自编码器（VAE）提供了一个经典案例：其模型定义为 $p_\theta(x) = \int p_\theta(x|z)p(z)dz$，但积分难以解析计算。此时，证据下界（Evidence Lower Bound, ELBO）成为可优化的代理目标。

ELBO 的推导始于对 $\log p_\theta(x)$ 引入变分分布 $q_\phi(z|x)$：

$$ \log p_\theta(x) = \mathbb{E}_{z \sim q_\phi(z|x)}\left[ \log p_\theta(x) \right] = \mathbb{E}_{z \sim q_\phi(z|x)}\left[ \log \frac{p_\theta(x,z)}{q_\phi(z|x)} \cdot \frac{q_\phi(z|x)}{p_\theta(z|x)} \right] $$

通过 Jensen 不等式，得到：

$$ \log p_\theta(x) \geq \mathbb{E}_{z \sim q_\phi(z|x)}\left[ \log \frac{p_\theta(x,z)}{q_\phi(z|x)} \right] = \text{ELBO}(x) $$

其中 ELBO 可分解为：

$$ \text{ELBO}(x) = \mathbb{E}_{z \sim q_\phi(z|x)}[\log p_\theta(x|z)] - \text{KL}(q_\phi(z|x) \| p(z)) $$

第一项是重构误差的期望（负损失），第二项是变分分布与先验的 KL 散度，起正则化作用。ELBO 是 $\log p_\theta(x)$ 的下界，优化 ELBO 等价于同时提高重构质量与约束隐变量分布。在 VAE 训练中，最大化 ELBO 是直接目标，但测试时通常报告 负对数似然（Negative Log-Likelihood, NLL）或 bits/dim（每维比特数），这些指标需要通过重要采样（Importance Sampling）等技巧近似计算。

对数似然指标的优势在于理论清晰、与密度估计直接相关。然而，它存在两个关键局限：第一，对于高维数据（如图像），即使模型产生模糊样本，对数 likelihood 也可能较高，导致指标与人类感知质量脱节；第二，它难以捕捉模式覆盖（mode coverage）问题——若模型只学习部分数据模式（mode collapse），但对这些模式拟合得很好，对数 likelihood 可能依然很高。因此，在图像生成领域，FID 等基于特征距离的指标逐渐成为主流。

1.2.2 基于样本质量的指标：FID、IS 与 FDD

当模型输出为样本而非密度时，需要直接比较生成样本集与真实样本集的分布差异。Frechét Inception Distance（FID）是当前图像生成领域的事实标准。

FID 的核心思想是：将图像通过预训练神经网络（通常是 Inception-v3）映射到特征空间，假设特征服从高斯分布，然后计算两个高斯分布之间的 Fréchet 距离。设真实图像特征分布为 $p_{data}(f)$，生成图像特征分布为 $p_G(f)$，FID 定义为：

$$ \text{FID} = \|\mu_{data} - \mu_G\|^2 + \text{Tr}\left( \Sigma_{data} + \Sigma_G - 2(\Sigma_{data}\Sigma_G)^{1/2} \right) $$

其中 $\mu_{data}, \Sigma_{data}$ 和 $\mu_G, \Sigma_G$ 分别是真实特征与生成特征的均值与协方差矩阵。FID 值越低，表示两个分布越接近。FID 对生成样本的多样性、真实性和细节质量均敏感，且与人类评估有较好相关性。典型值：在 CIFAR-10 上，先进模型可达 2-3，而早期 GAN 约 10-30。

Inception Score（IS）是 FID 之前的主流指标，基于条件概率与边缘概率的 KL 散度：

$$ \text{IS} = \exp\left( \mathbb{E}_{x \sim p_G}[\text{KL}(p(y|x) \| p(y))] \right) $$

其中 $p(y|x)$ 是 Inception 网络预测的类别条件分布，$p(y)$ 是边缘分布。IS 鼓励生成样本具有高置信度的类别预测（高 $p(y|x)$）且类别分布均衡（低 $p(y)$）。然而，IS 存在明显缺陷：对模式 collapse 不敏感（即使只生成少数类别的样本，只要这些样本清晰，IS 仍可很高）；且依赖于 ImageNet 分类器，对非自然图像或域外数据不适用。

Fréchet Diffusion Distance（FDD）是专为扩散模型设计的指标，使用扩散模型训练过程中的中间特征（如来自 UNet 的隐藏层）代替 Inception 特征。由于这些特征更贴近扩散模型的学习过程，FDD 被认为比 FID 更能反映扩散模型的生成质量，尤其在文本到图像生成任务中。

1.2.3 基于语义对齐的指标：CLIP Score

随着多模态生成（如文本到图像）的兴起，需要评估生成内容与输入条件的语义一致性。CLIP Score 基于 CLIP 模型的图像-文本对齐能力，定义为生成图像 $x$ 与条件文本 $t$ 的余弦相似度：

$$ \text{CLIP Score}(x, t) = \max(100 \cdot \cos(\text{CLIP}_I(x), \text{CLIP}_T(t)), 0) $$

其中 $\text{CLIP}_I$ 和 $\text{CLIP}_T$ 分别是 CLIP 的图像与文本编码器。CLIP Score 不依赖于特定类别标签，能捕捉开放词汇的语义相似度，成为评估文本到图像模型（如 DALL-E、Stable Diffusion）的关键指标。然而，它也可能被" adversarial examples"欺骗——生成语义无关但特征空间接近的图像。

1.2.4 评估指标的综合比较

下表概括了主要指标的侧重点与局限：

| 指标 | 核心思想 | 适用任务 | 主要局限 | |------|----------|----------|----------| | NLL/bits/dim | 数据密度估计 | 自回归模型、流模型 | 与感知质量脱节；计算可能复杂 | | FID | 特征空间分布距离 | 无条件图像生成 | 依赖 Inception 特征；需大量样本（>10k） | | IS | 类别条件与边缘分布的 KL | 类条件生成 | 对模式 collapse 不敏感；类别偏见 | | FDD | 扩散模型内部特征距离 | 扩散模型 | 较新，可比研究较少 | | CLIP Score | 图像-文本特征相似度 | 文本到图像生成 | 可能鼓励表面相似而非语义正确 |

实践中，建议组合使用：FID 评估整体质量与多样性，CLIP Score 评估条件对齐，并辅以人工评估（如按真实度、多样性打分）。值得注意的是，指标本身也可能被"过优化"——模型针对特定指标调整而牺牲其他方面，这提醒我们评估需多维度、多任务进行。

1.3 经典生成范式：概率图模型与显式密度估计

在深入现代模型之前，有必要回顾生成式建模的两大经典范式，它们构成了后续技术演进的理论基石。

1.3.1 概率图模型与隐变量方法

概率图模型（Probabilistic Graphical Models, PGMs）用图结构表示随机变量间的条件独立关系，为复杂联合分布提供模块化分解。在生成式建模中，隐变量模型（Latent Variable Models, LVMs）是一类重要的 PGMs，通过引入未观测隐变量 $z$ 简化数据分布建模：

$$ p_\theta(x) = \int p_\theta(x|z) p(z) dz $$

先验 $p(z)$ 通常是简单分布（如标准正态），而似然 $p_\theta(x|z)$ 由神经网络参数化。隐变量 $z$ 捕捉数据的潜在语义（如人脸图像的姿态、身份），使模型能 disentangle 数据生成因素。然而，积分 $\int p_\theta(x|z)p(z)dz$ 通常无法解析计算，这催生了两种主要训练策略：变分推断（如 VAE）与生成对抗训练（如 GAN）。

变分推断引入变分分布 $q_\phi(z|x)$ 近似后验 $p_\theta(z|x)$，通过优化 ELBO 同时学习生成模型 $p_\theta(x|z)$ 与识别模型 $q_\phi(z|x)$。其优势在于提供可微的损失函数与完整的概率框架，但生成样本往往因后验近似误差而模糊。

生成对抗训练则采用完全不同的思路：不显式建模 $p_\theta(x)$，而是通过生成器 $G$ 将噪声 $z \sim p(z)$ 映射为样本，同时训练判别器 $D$ 区分真实与生成样本。目标函数为极小极大博弈：

$$ \min_G \max_D V(D,G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p(z)}[\log(1 - D(G(z)))] $$

GAN 的优势在于能生成高清晰度、高保真度样本，但训练不稳定、模式 collapse 等问题长期存在。值得注意的是，从概率视角，GAN 可视为最小化 $p_{data}$ 与 $p_G$ 之间的 Jensen-Shannon 散度或其变体，但实际训练动态远比此复杂。

1.3.2 显式密度估计：自回归模型与归一化流

显式密度估计方法直接参数化 $p_\theta(x)$ 并计算其归一化密度。自回归模型（Autoregressive Models）利用链式法则将多维分布分解为条件分布的乘积：

$$ p_\theta(x) = \prod_{i=1}^d p_\theta(x_i | x_1, \dots, x_{i-1}) $$

其中 $d$ 是维度（如图像像素数或文本词数）。每个条件分布 $p_\theta(x_i | x_{<i})$ 通常由神经网络（如 PixelCNN、Transformer）参数化。自回归模型能精确计算对数似然，但采样必须逐元素顺序进行，速度极慢——这是其核心瓶颈。

归一化流（Normalizing Flows）则通过一系列可逆、可微变换 $f_1, f_2, \dots, f_K$ 将简单分布（如高斯）的样本 $z_0$ 转换为数据分布样本 $x$：

$$ x = f_K \circ \cdots \circ f_1(z_0), \quad z_0 \sim p(z_0) $$

利用变化变量公式，密度可精确计算：

$$ \log p_\theta(x) = \log p(z_0) + \sum_{k=1}^K \log \left| \det \frac{\partial f_k}{\partial z_{k-1}} \right| $$

流模型既能精确密度估计，又能高效采样（一次前向传播），但要求变换可逆且雅可比行列式易计算，这限制了网络架构的灵活性。RealNVP、Glow 等是典型代表。

这些经典范式各自权衡了建模能力、计算效率与评估便利性，为现代生成模型提供了丰富的设计灵感。例如，扩散模型可视为隐变量模型与自回归思想的结合——通过多步前向过程隐式定义数据分布，再通过反向过程逐步去噪生成样本。

1.4 贯穿全书的分析框架：三维度解构生成模型

为系统理解纷繁复杂的生成模型，本书提出一个统一分析框架：从模型架构、训练目标、采样过程三个维度解构任何生成模型。这一框架贯穿全书，帮助读者抓住本质，举一反三。

• **模型架构** 定义模型的数学表达与计算图，包括：隐变量空间设计（如 VAE 的 $z \in \mathbb{R}^d$，扩散模型的噪声序列 $\{x_t\}_{t=1}^T$）、神经网络主干（如卷积、Transformer）、条件机制（如类别标签、文本嵌入的融合方式）。
• **训练目标** 是优化过程中实际最小化的损失函数，可能源于概率原则（如 ELBO）、博弈论（如 GAN 的极小极大值）、或分数匹配（如扩散模型的得分匹配）。目标函数决定了模型学习什么以及如何学习。
• **采样过程** 描述如何从训练好的模型生成新样本，包括：从先验采样的方式（如一步采样 vs. 多步迭代）、确定性还是随机性、采样步数与质量/效率的权衡。

以三个经典模型为例说明框架应用：

| 模型 | 架构 | 训练目标 | 采样过程 | |------|------|----------|----------| | VAE | 编码器-解码器，隐变量 $z$ | 最大化 ELBO：重构损失 + KL 散度 | 从先验 $p(z)$ 采样 $z$，通过解码器一步生成 $x$ | | GAN | 生成器 $G$ + 判别器 $D$ | 极小极大值：$\min_G \max_D V(D,G)$ | 从先验 $p(z)$ 采样 $z$，通过生成器一步生成 $x$ | | 扩散模型 | 去噪 U-Net，噪声序列 $\{x_t\}$ | 分数匹配 / 变分下界 | 从纯噪声 $x_T$ 开始，多步迭代去噪至 $x_0$ |

这一框架揭示：架构决定表达边界，目标决定优化方向，采样决定实用效率。例如，扩散模型为何采样慢？因其架构定义了多步马尔可夫过程，采样必须逐步进行；但其训练目标（分数匹配）稳定，易于优化。GAN 架构支持一步采样，但训练目标（对抗博弈）难以优化。VAE 在架构与目标间取得平衡，但生成样本常模糊。后续各章将以此框架为线索，剖析各类模型的优劣与演进逻辑。

1.5 本章小结与全书导引

本章建立了生成式AI的理论基础：首先明确学习数据分布 $p_{data}(x)$ 的核心目标，进而区分显式密度估计与隐式生成两大范式；随后系统介绍评估指标，从基于似然的 ELBO 到基于特征的 FID、CLIP Score，强调指标选择需与任务对齐；最后提出三维度分析框架，为全书提供统一视角。这些概念与工具将贯穿后续章节：第 2 章深入 GAN 的架构创新与训练技巧；第 3