绪论：生成式AI的范式转变与全书路线图

生成式人工智能（Generative AI）的崛起标志着机器学习从“感知”到“创造”的根本性范式转变。其核心使命并非简单地识别或分类数据，而是深入理解数据的内在分布结构，并从中采样出新颖、合理且富有创造性的样本。这一使命驱动了生成模型在过去十年间的飞速演进，从早期基于精确似然估计的自回归模型，到革命性的生成对抗网络（GAN），再到理论优雅的变分自编码器（VAE），最终迎来以扩散模型为代表的当前主流范式。本书旨在系统性地解析这一演进历程，深入探讨图像、文本与视频生成技术的原理、实践与未来，为专业读者提供一份兼具深度与广度的技术地图。

理解生成式AI的起点，在于明确其与判别式模型的本质区别。判别式模型学习的是条件概率分布 $p(y|x)$，即给定输入 $x$ 预测标签 $y$，其核心是决策边界；而生成式模型的目标是学习数据的联合概率分布 $p(x)$ 或条件分布 $p(x|y)$，其核心是对数据本质的建模。这种根本差异决定了生成式AI的独特价值：它不仅能理解数据，更能“想象”数据，从而在图像合成、文本创作、药物设计、材料发现等领域释放巨大潜力。然而，学习高维、复杂、多模态的数据分布 $p(x)$ 是一项极其艰巨的任务，其成功与否取决于模型的表达能力、训练算法的稳定性以及评估手段的可靠性。正是对这些核心挑战的持续攻关，推动了生成模型范式的不断更迭。

自回归模型：精确但缓慢的似然估计者

生成式AI的现代历程常以2014年为分水岭，但早期自回归模型（Autoregressive Models）早已奠定了理论基础。其核心思想源于时间序列分析：将高维数据（如图像像素、文本词元）视为一维序列，通过链式法则分解联合概率： $$p(x) = \prod_{i=1}^{n} p(x_i | x_{<i})$$ 其中 $x_{<i}$ 表示第 $i$ 个元素之前的所有元素。模型按顺序逐点预测，每一步的条件概率由神经网络（如PixelCNN中的掩码卷积、WaveNet中的扩张因果卷积）参数化。这种结构保证了精确的似然计算和高效的训练，因为目标就是最大化对数似然 $\log p(x)$。

自回归模型的代表性工作包括2016年的PixelCNN及其变体PixelRNN，它们首次在图像生成上展示了基于像素级精确似然训练的可行性。2016年DeepMind的WaveNet则革命性地将自回归应用于原始音频生成，通过极深的空洞卷积网络捕捉长程依赖，生成的语音质量远超传统参数合成。然而，自回归模型的致命弱点是采样速度：生成一个样本需要顺序执行 $n$ 次前向传播，$n$ 为数据维度（例如，对于 $64\times64$ 的RGB图像，$n=12288$），这导致生成一张高清图像需数秒甚至分钟级，难以满足实时应用需求。此外，其因子分解假设可能过于严格，难以建模像素间的长程、非线性依赖。尽管如此，自回归模型在文本生成领域（如GPT系列）依然占据重要地位，因为文本本身就是离散序列，顺序生成符合人类语言习惯，且大规模预训练缓解了效率问题。

生成对抗网络：对抗训练的辉煌与阴影

2014年，Goodfellow等人提出的生成对抗网络（GAN）带来了范式转折。GAN摒弃了显式概率建模，转而采用博弈论框架：一个生成器 $G$ 试图从先验噪声 $z \sim p_z(z)$ 生成逼真样本 $G(z)$，一个判别器 $D$ 试图区分生成样本与真实数据。两者通过极小极大博弈优化： $$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$ 当达到纳什均衡时，生成器完美复制数据分布，判别器对所有样本都无法区分（输出0.5）。GAN的核心优势在于采样效率：生成只需一次前向传播，速度极快；且生成样本在视觉上往往锐利、清晰，摆脱了VAE的模糊问题。2018年的StyleGAN及其后续版本通过渐进式生成、风格向量注入、自适应实例归一化等技术，将人脸合成推向以假乱真的境界，成为视觉生成的事实标准。

然而，GAN的优雅理论背后是 notorious 的训练 instability。模式崩溃（Mode Collapse）——生成器只探索数据流形的少数区域，导致多样性丧失——是最常见问题。训练过程如同走钢丝：判别器过强会导致生成器梯度消失，过弱则无法提供有效指导。超参数敏感、难以收敛、缺乏明确的收敛度量，这些都使得GAN在实际应用中需要大量工程技巧。尽管后续工作如Wasserstein GAN（WGAN）、WGAN-GP、Spectral Normalization等从理论角度（如使用Wasserstein距离、梯度惩罚）改善了稳定性，但模式崩溃和训练复杂度仍未根除。GAN的困境促使研究者思考：是否存在一种既保持采样效率，又具备稳定训练、良好模式覆盖的生成范式？

变分自编码器：贝叶斯视角的优雅妥协

与GAN同年，Kingma和Welling提出的变分自编码器（VAE）从贝叶斯推断角度提供了另一条路径。VAE假设数据由潜在变量 $z$ 生成：$p_\theta(x|z)$ 为解码器（生成模型），$p(z)$ 为先验（如标准正态）。关键创新在于引入变分分布 $q_\phi(z|x)$（编码器）来近似难以计算的后验 $p_\theta(z|x)$，通过最大化证据下界（ELBO）联合优化： $$\log p(x) \geq \mathbb{E}_{z \sim q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z)) = \text{ELBO}$$ ELBO第一项鼓励重建准确，第二项约束潜在空间接近先验。训练稳定，因为优化目标明确且处处可微。

VAE的理论优雅性使其成为潜在空间操作的利器：在连续、解耦的潜在空间中进行插值、算术运算（如“国王 - 男人 + 女人 ≈ 女王”）成为可能。然而，其生成样本常显模糊，原因在于：1）高斯先验与解码器MLP的简单组合导致模型倾向于“平均化”数据模式；2）ELBO中KL散度的强制约束可能过度平滑潜在空间。后续改进如VQ-VAE（使用向量量化潜在空间）、VQ-VAE-2（分层先验）、β-VAE（调节KL权重以增强解耦）等在一定程度上缓解了模糊问题，但生成质量与GAN相比仍有差距。VAE的价值在于其清晰的概率图模型解释和可扩展性，为后续与扩散模型的结合（如VLB作为扩散训练目标）埋下伏笔。

扩散模型：概率流驱动的生成新范式

扩散模型（Diffusion Models）的崛起并非一蹴而就，其思想可追溯至非平衡热力学。2015年，Sohl-Dickstein等人首次提出基于马尔可夫链的逐步加噪与去噪框架，但当时未引起广泛关注。2020年，Ho等人提出的去噪扩散概率模型（DDPM）与Song和Ermon等人的分数匹配生成模型（NCSN）几乎同时独立工作，将扩散模型推向舞台中央，并迅速在图像生成上超越GAN，成为新的SOTA。

扩散模型的核心由两个过程构成： 1. 前向过程（加噪）：将数据 $x_0$ 通过 $T$ 步马尔可夫链逐步添加高斯噪声，最终变为近似标准正态的 $x_T$。每一步为 $q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$，其中 $\beta_t$ 为噪声调度。此过程无需学习，固定且快速。 2. 反向过程（去噪）：学习一个参数化模型 $p_\theta(x_{t-1} | x_t)$，从纯噪声 $x_T$ 开始，逐步去噪恢复数据。训练目标为变分下界（VLB）的简化形式：预测添加的噪声 $\epsilon$ 本身。即训练一个U-Net网络 $\epsilon_\theta(x_t, t)$ 来预测 $q(x_t | x_0)$ 中的噪声项，损失为 $\mathbb{E}_{x_0, \epsilon, t} [\| \epsilon - \epsilon_\theta(x_t, t) \|^2]$，其中 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\bar{\alpha}_t$ 为噪声累积系数。

扩散模型成功的关键在于：

• **训练稳定性**：每个训练步骤独立，目标简单（噪声预测），避免了GAN的对抗博弈难题，训练过程如同监督学习般稳健。
• **模式覆盖与多样性**：理论上，反向过程能覆盖数据流形的所有模式，不易出现模式崩溃，生成样本多样性显著优于GAN。
• **理论深度**：与随机微分方程（SDE）的深刻联系（Song等人2021年工作）提供了统一视角：前向过程是固定SDE，反向过程是学习反向SDE，得分函数（score function） $\nabla_x \log p(x)$ 成为核心估计目标。这连接了扩散模型与统计物理、概率论。
• **可扩展性**：在大规模数据集（如ImageNet）和海量计算资源下，扩散模型性能持续提升，且能无缝融入 classifier-free guidance 等条件控制技术。

尽管采样速度慢（需数百步迭代）曾是主要瓶颈，但后续加速技术如DDIM（非马尔可夫采样）、DPM-Solver（基于ODE求解器）、一致性模型（Consistency Models）等已大幅减少步数（低至4-8步），同时保持高质量，使其具备实用价值。2022年，Stable Diffusion通过潜在空间扩散（在VAE的潜在空间而非像素空间进行扩散）进一步提升了效率，引爆了文本到图像生成的普及。

范式转变的深层驱动力

从自回归到GAN、VAE，再到扩散，演进的内在驱动力可归结为三个核心矛盾的持续优化：

1. 训练稳定性 vs. 生成质量：GAN追求极致生成质量（锐利细节），但代价是训练不稳定；VAE和自回归训练稳定，但生成质量（清晰度）受限；扩散模型在保持高质量的同时，实现了接近监督学习的训练稳定性，这是其颠覆性所在。 2. 模式覆盖 vs. 效率：自回归理论上能完美建模所有依赖，但顺序采样慢；GAN并行采样快，但模式覆盖差；扩散通过迭代去噪，在并行采样（可并行计算所有步的噪声预测）与模式覆盖之间取得了更好平衡，尤其结合加速技术后。 3. 理论可解释性 vs. 工程实践：GAN的博弈论框架虽美，但实践中缺乏收敛保证；VAE的ELBO清晰但生成模糊；扩散的VLB和SDE框架提供了坚实的数学基础，使得改进（如噪声调度、采样器设计）有据可依，降低了“炼丹”程度。

当前，扩散模型已成为生成式AI的通用骨干，但其并非终点。研究前沿正朝着多模态统一（如将扩散应用于文本、音频、视频的联合生成）、高效推理（进一步压缩采样步数）、可控生成（更精细的提示工程、布局控制）、以及评估体系革新（超越FID、IS的感知与语义指标）方向发展。理解扩散模型的原理，已成为把握生成式AI现状与未来的关键。

全书路线图：结构、逻辑与学习路径

本书共15章，旨在为专业读者提供从理论基石到前沿应用的完整知识体系。章节设计遵循“基础→核心模型→模态应用→高级话题→未来展望”的逻辑脉络，每章均包含核心概念、数学推导、算法细节、代码片段（伪代码或框架示例）以及案例分析。以下为详细路线图，明确各章的前置知识要求与核心贡献。

第一部分：理论基础与模型基石（第2-6章）

本部分构建生成式AI的数学与概念框架，深入剖析三大主流模型范式。

第2章《生成式AI的数学基础：概率论与深度学习回顾》

• **前置知识**：微积分、线性代数、基础概率。
• **核心内容**：系统梳理生成式AI所需的核心数学工具，包括概率分布（高斯、混合模型）、贝叶斯推断、变分推断（ELBO推导）、随机过程初步、深度学习基础（CNN、Transformer、归一化层）。本章强调概率视角，为后续模型理解奠定统一语言。
• **核心贡献**：消除数学障碍，建立概率生成观，确保读者能驾驭后续章节的公式推导。

第3章《自回归模型：精确似然估计的基石》

• **前置知识**：第2章。
• **核心内容**：深入自回归模型，从PixelCNN的掩码卷积、WaveNet的空洞卷积，到Transformer-based语言模型（GPT系列）。详细推导链式法则似然、训练与采样算法、效率瓶颈分析。探讨其在文本、音频、图像（如PixelCNN++）中的应用与局限。
• **核心贡献**：理解顺序生成范式，掌握精确似然训练的原理，为对比其他模型提供基准。

第4章《生成对抗网络（GAN）：对抗训练的突破与挑战》

• **前置知识**：第2章，第3章（可选，用于对比）。
• **核心内容**：从零推导GAN的极小极大目标、纳什均衡概念。深入剖析训练不稳定的数学根源（梯度消失、模式崩溃）。系统评述关键改进：WGAN（Wasserstein距离）、WGAN-GP（梯度惩罚）、SGAN（谱归一化）、StyleGAN系列（风格混合、路径正则化）。包含训练技巧（如历史参数平均）和评估指标（Inception Score, FID）。
• **核心贡献**：掌握对抗训练精髓，理解其优势与缺陷，学会诊断和缓解常见问题。

第5章《变分自编码器（VAE）：贝叶斯推断的优雅实现》

• **前置知识**：第2章。
• **核心内容**：从变分推断推导ELBO，详细解释重参数化技巧（Reparameterization Trick）。分析编码器-解码器架构、潜在空间特性（连续性、解耦）。深入讨论VQ-VAE（向量量化）、β-VAE（调节KL权重）、VQ-VAE-2（层级先验）等改进。对比VAE与GAN在潜在空间操作上的差异。
• **核心贡献**：理解贝叶斯生成框架，掌握潜在空间建模技术，为扩散模型与VAE的结合做铺垫。

第6章《扩散模型基础：从随机微分方程到得分匹配》

• **前置知识**：第2章（随机过程、SDE初步），第3-5章（用于对比）。
• **核心内容**：这是全书核心章节之一。系统推导DDPM的VLB、噪声预测目标。深入连接SDE框架：前向SDE、反向SDE、得分函数 $\nabla_x \log p(x)$。详解训练网络架构（U-Net、注意力机制）、噪声调度设计、采样算法（DDIM、DPM-Solver）。从原理上解释为何扩散稳定且模式覆盖好。
• **核心贡献**：掌握扩散模型的完整数学框架，理解其与热力学、概率流的深刻联系，能独立推导核心公式。

第二部分：模态专项与生成应用（第7-11章）

本部分将基础模型应用于具体模态，探讨条件控制与多模态生成。

第7章《条件生成与控制：引导技术与提示工程》

• **前置知识**：第4、6章。
• **核心内容**：详解如何将无条件生成模型转为条件模型。重点讲解Classifier-Free Guidance（CFG）及其变体，分析引导强度对多样性与保真度的权衡。深入文本到图像生成中的提示工程（Prompt Engineering）、提示嵌入（Textual Inversion）、LoRA微调等实用技术。讨论布局控制（如Box-grounded Diffusion）、草图引导等细粒度控制方法。
• **核心贡献**：掌握条件生成的核心技术，学会在实际应用中实现精确控制。

第8章《图像生成：从人脸到艺术创作》

• **前置知识**：第4、6、7章。
• **核心内容**：全面评述图像生成领域。GAN部分：StyleGAN2/3的细节（解调卷积、路径长度正则）、应用于人脸编辑、风格迁移。扩散部分：ADM、GLIDE、Stable Diffusion的架构创新（潜在扩散、交叉注意力）、在艺术创作、设计、修复中的应用。包含大规模训练技巧（数据增强、EMA、混合精度）。
• **核心贡献**：理解SOTA图像生成系统的工程实践，能复现或改进现有模型。

第9章《文本生成：语言模型与扩散文本合成》

• **前置知识**：第3章（自回归语言模型），第6章（扩散基础）。
• **核心内容**：两部分：1）自回归语言模型（Transformer decoder，如GPT-3/4、PaLM）的预训练-微调范式、上下文学习、思维链提示。2）非自回归文本生成：扩散模型应用于文本（如Diffusion-LM、SeqDiffuSeq），讨论离散空间的扩散挑战（如离散化、嵌入空间扩散）。对比自回归与非自回归文本生成的优劣。
• **核心贡献**：掌握文本生成的两种范式，理解扩散在离散序列上的应用与挑战。

第10章《多模态生成：文本到图像与跨模态理解》

• **前置知识**：第7、8、9章。
• **核心内容**：深入多模态生成的核心——跨模态对齐。详解CLIP的对比学习框架，及其如何作为扩散模型的指导器（如Stable Diffusion）。探讨更紧密的融合架构：基于Transformer的多模态模型（如DALL-E 2的先验、Unified-IO）、扩散模型与大型语言模型（LLM）的协同。讨论多模态评估（如CAPTION, ImageReward）。
• **核心贡献**：理解多模态生成的“粘合剂”技术，掌握构建文本到图像系统的全流程。

第11章《视频生成：时空建模与动态渲染》

• **前置知识**：第6、8章。
• **核心内容**：视频生成的独特挑战：时空一致性、计算量。介绍将图像扩散扩展为视频的方法：1）在时空维度扩展U-Net（Video Diffusion Models）。2）分层生成（先关键帧后插帧）。3）基于潜空间的扩散（如Latent Video Diffusion）。讨论运动建模（光流、轨迹）、长视频生成策略、以及GAN在视频生成（如StyleGAN-V）中的尝试。
• **核心贡献**：掌握视频生成的核心技术路线，理解时空建模的关键问题。

第三部分：评估、效率与伦理（第12-15章）

本部分超越模型本身，关注生成系统的实用化、负责任部署与未来。

第12章《评估与度量：如何衡量生成质量》

• **前置知识**：第8-11章。
• **核心内容**：批判性审视现有指标：FID（Frechet Inception Distance）的统计假设与局限、IS（Inception Score）的缺陷、LPIPS（感知相似度）。介绍更全面的评估框架：人类评估设计、基于预训练模型的度量（如CLIP-Score, ImageReward）、多样性度量、条件对齐度量。讨论评估的“不可靠性”及研究方向（如生成评估的“图灵测试”）。
• **核心贡献**：建立科学的评估观念，学会选择合适指标，避免被误导性结果欺骗。

第13章《高效生成：蒸馏、量化与加速技术》

• **前置知识**：第6、8章。

-