引言：生成式AI的视觉创造时代

生成式人工智能（Generative AI）正以前所未有的速度重塑视觉内容的创作范式。从艺术创作到工业设计，从科学可视化到娱乐产业，机器生成图像、文本与视频的能力已从实验室走向大众应用，成为数字时代创造性工作的核心驱动力。这一变革并非一蹴而就，而是历经数十年理论探索与工程突破的累积结果：从早期基于概率图模型的生成尝试，到变分自编码器（Variational Autoencoder, VAE）对连续潜在空间的引入，再到生成对抗网络（Generative Adversarial Network, GAN）带来的图像质量飞跃，最终演进至当前扩散模型（Diffusion Model）主导的高保真、可控生成时代。理解这一技术演进脉络，不仅是掌握生成式AI本质的关键，更是开启未来视觉创造之道的基石。

本章作为全书的开篇，旨在为读者构建一幅生成式AI视觉创造技术的全景地图。我们将系统回顾生成模型的发展历程，剖析各阶段核心技术的原理、局限与突破意义，并阐释它们如何共同推动图像、文本及视频生成的革命。随后，本章将明确本书的整体架构——从基础理论到GAN深度剖析，再到扩散模型详解、多模态与视频生成应用，最后延伸至高级主题——帮助读者建立清晰的学习路径。同时，我们会详细说明读者应具备的前置知识（Python、PyTorch、线性代数、概率论），并提供针对性的学习建议。本章末尾，将通过一个基于预训练Stable Diffusion模型的交互式生成案例，让读者直观感受当前技术的强大能力，激发深入探索的兴趣。

1.1 生成模型的发展历程：从概率图模型到深度生成

生成式AI的根源可追溯至统计学与概率论对“数据生成过程”的长期建模传统。在深度学习时代之前，生成模型主要依赖于概率图模型（Probabilistic Graphical Models, PGMs），如朴素贝叶斯、隐马尔可夫模型（HMM）以及更一般的贝叶斯网络。这些模型通过定义随机变量之间的条件独立性关系，联合概率分布 $P(\mathbf{x})$ 可分解为局部条件概率的乘积。例如，一个简单的图像生成模型可能假设每个像素值独立同分布，但这显然无法捕捉图像中复杂的空间结构。为了建模高维数据（如图像），研究者引入了隐含变量（latent variables） $\mathbf{z}$，将观测数据 $\mathbf{x}$ 的生成过程描述为：先采样隐含变量 $\mathbf{z} \sim P(\mathbf{z})$，再通过条件分布 $P(\mathbf{x}|\mathbf{z})$ 生成观测数据。这一思想成为现代深度生成模型的基石。

然而，传统概率图模型在处理高维连续数据（如自然图像）时面临严峻挑战：精确推断 $P(\mathbf{x}) = \int P(\mathbf{x}|\mathbf{z})P(\mathbf{z}) d\mathbf{z}$ 通常是计算不可行的，必须依赖近似方法。变分推断（Variational Inference, VI）提供了一种解决方案：通过引入一个简单分布 $Q(\mathbf{z}|\mathbf{x})$（如高斯分布）来近似真实后验 $P(\mathbf{z}|\mathbf{x})$，并最小化两者之间的KL散度。这一思想直接催生了变分自编码器（VAE），标志着深度生成模型的第一个重大突破。

1.1.1 变分自编码器（VAE）：连续潜在空间的启蒙

VAE由Kingma和Welling于2013年提出，其核心创新在于将变分推断与神经网络结合，实现了可微分、端到端的训练。VAE的生成过程可形式化描述为：给定一个简单的先验分布 $P(\mathbf{z}) = \mathcal{N}(0, \mathbf{I})$，通过解码器网络 $P_\theta(\mathbf{x}|\mathbf{z})$ 生成数据。训练目标是最大化观测数据的证据下界（Evidence Lower Bound, ELBO）： $$ \log P(\mathbf{x}) \geq \mathbb{E}_{Q_\phi(\mathbf{z}|\mathbf{x})}[\log P_\theta(\mathbf{x}|\mathbf{z})] - D_{KL}(Q_\phi(\mathbf{z}|\mathbf{x}) \| P(\mathbf{z})) = \text{ELBO} $$ 其中，编码器网络 $Q_\phi(\mathbf{z}|\mathbf{x})$ 近似后验分布。ELBO由两项组成：重构项（期望解码似然）和正则化项（KL散度），分别鼓励模型生成与原始数据相似的样本，并约束潜在空间遵循先验分布。

VAE的革命性意义在于它首次实现了连续、结构化且可插值的潜在空间。在VAE中，潜在向量 $\mathbf{z}$ 是连续变量，通过在潜在空间中沿直线插值（如从 $\mathbf{z}_1$ 到 $\mathbf{z}_2$），解码器能生成平滑过渡的样本，展现出语义上的连续性（例如人脸图像中从“微笑”到“平静”的渐变）。这一特性为后续可控生成奠定了基础。

然而，VAE存在明显局限：由于KL散度正则化项强制后验接近先验，潜在空间可能被过度平滑，导致生成样本缺乏细节锐度，整体图像略显模糊。此外，ELBO优化的是下界，而非真实对数似然，可能导致生成质量天花板。尽管如此，VAE为理解深度生成模型提供了清晰的理论框架，其编码器-解码器结构、重参数化技巧（reparameterization trick）等设计深刻影响了后续工作。

实践案例：VAE在MNIST上的可视化 一个经典的实践是训练VAE在MNIST手写数字数据集上。编码器将 $28 \times 28$ 图像映射为二维潜在向量（例如均值 $\mu$ 和方差 $\sigma$ 的参数），解码器从潜在向量重建图像。训练后，在潜在空间网格上采样并解码，可观察到数字的连续变化：从左下角的“0”逐渐过渡到右上角的“1”，中间经过形态各异的数字变体。这直观展示了VAE潜在空间的语义组织能力。代码实现通常包含以下关键步骤： 1. 定义编码器（卷积层 → 展平 → 两个全连接层输出 $\mu$ 和 $\log\sigma^2$）。 2. 通过重参数化技巧采样：$\mathbf{z} = \mu + \sigma \odot \epsilon$，其中 $\epsilon \sim \mathcal{N}(0, \mathbf{I})$。 3. 定义解码器（全连接层 → 重塑 → 转置卷积层输出重构图像）。 4. 损失函数为重构损失（如二元交叉熵或MSE）与KL散度之和。

1.1.2 生成对抗网络（GAN）：对抗训练与质量飞跃

2014年，Goodfellow等人提出生成对抗网络，彻底改变了生成模型的格局。GAN摒弃了显式概率建模，采用一种全新的对抗博弈范式：生成器 $G$ 试图生成以假乱真的数据以欺骗判别器 $D$，而判别器 $D$ 则努力区分真实数据与生成数据。两者通过极小极大博弈共同优化： $$ \min_G \max_D V(D, G) = \mathbb{E}_{\mathbf{x} \sim p_{\text{data}}}[\log D(\mathbf{x})] + \mathbb{E}_{\mathbf{z} \sim p_{\mathbf{z}}}[\log(1 - D(G(\mathbf{z})))] $$ 当训练达到纳什均衡时，生成器产生的分布 $p_g$ 等于真实数据分布 $p_{\text{data}}$，判别器无法区分二者（$D(\mathbf{x}) = 0.5$ 对所有 $\mathbf{x}$）。

GAN的突破性在于其生成样本的极高保真度与细节锐度。在图像生成任务上，GAN首次生成了清晰、逼真的自然图像，远超同期VAE的模糊输出。这一优势源于对抗损失对“真实感”的隐式鼓励：判别器作为不断进化的“鉴赏家”，迫使生成器追求更精细的纹理和结构。后续研究如DCGAN、StyleGAN等进一步提升了生成质量、分辨率和可控性。StyleGAN系列通过渐进式训练、风格迁移（style mixing）和自适应实例归一化（AdaIN）等技术，实现了人脸生成领域的里程碑，其输出几乎无法与真实照片区分。

然而，GAN的训练以不稳定著称。博弈目标可能导致模式崩溃（mode collapse，生成器只产生少数几种样本）、梯度消失（判别器过强时生成器梯度失效）或训练振荡。稳定GAN训练需要精细的超参数调整、架构设计（如谱归一化）和损失函数改进（如Wasserstein GAN及其变体）。此外，GAN缺乏明确的概率密度估计，潜在空间结构不如VAE清晰，可控生成依赖于后处理（如潜在空间插值、语义编辑）或条件GAN（cGAN）的额外设计。

技术对比：VAE vs. GAN | 特性 | VAE | GAN | |------|-----|-----| | 训练目标 | 最大化ELBO（似然下界） | 极小极大博弈 | | 生成质量 | 相对模糊，细节不足 | 高保真，细节锐利 | | 训练稳定性 | 相对稳定 | 不稳定，需调参 | | 潜在空间 | 连续、结构化，易于插值 | 结构不明确，插值可能不连续 | | 概率建模 | 显式（近似） | 隐式，无密度估计 | | 模式覆盖 | 较好，避免模式崩溃 | 易模式崩溃 |

1.1.3 扩散模型（Diffusion Models）：概率路径的复兴

扩散模型代表了生成式AI的第三次浪潮，其思想源于非平衡热力学。2015年，Sohl-Dickstein等人首次提出扩散生成框架，但直至2020年，Ho等人提出的去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM） 及Song等人的得分匹配生成网络（Score-Based Generative Models） 将扩散模型推至主流，实现了超越GAN的生成质量与训练稳定性。

扩散模型的核心思想是逐步破坏与逐步重建。前向过程（forward process）通过逐步添加高斯噪声，将数据 $\mathbf{x}_0$ 转化为纯噪声 $\mathbf{x}_T \sim \mathcal{N}(0, \mathbf{I})$，每一步定义为： $$ q(\mathbf{x}_t | \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{1-\beta_t}\mathbf{x}_{t-1}, \beta_t\mathbf{I}) $$ 其中 $\beta_t$ 为方差调度（variance schedule）。关键性质是：任意时刻 $t$ 的 $\mathbf{x}_t$ 可通过闭式表达从 $\mathbf{x}_0$ 直接采样，无需逐步计算： $$ q(\mathbf{x}_t | \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1 - \bar{\alpha}_t)\mathbf{I}) $$ 这里 $\bar{\alpha}_t = \prod_{s=1}^t (1 - \beta_s)$。

反向过程（reverse process）则是学习从噪声 $\mathbf{x}_T$ 逐步去噪重建数据 $\mathbf{x}_0$。DDPM将其参数化为一系列条件高斯转移： $$ p_\theta(\mathbf{x}_{t-1} | \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \mu_\theta(\mathbf{x}_t, t), \sigma_t^2 \mathbf{I}) $$ 其中均值 $\mu_\theta$ 由神经网络（通常为U-Net）预测。训练目标简化为预测前向过程中添加的噪声 $\epsilon$： $$ \mathcal{L}_{\text{simple}} = \mathbb{E}_{t, \mathbf{x}_0, \epsilon}[\| \epsilon - \epsilon_\theta(\mathbf{x}_t, t) \|^2] $$ 其中 $\mathbf{x}_t = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$，$\epsilon \sim \mathcal{N}(0, \mathbf{I})$。这一目标与得分匹配（score matching）等价，网络学习的是数据分布的梯度场（score）。

扩散模型的优势显著：训练过程稳定，无需对抗博弈的平衡难题；模式覆盖完整，不易模式崩溃；生成质量顶尖，在图像合成任务上达到新高度；理论框架清晰，与概率密度估计、变分推断、随机微分方程（SDE）等深刻理论相连。其代价是采样速度慢，需数十至数百步去噪（虽可通过蒸馏、隐空间扩散加速）。后续工作如Latent Diffusion Models（LDM，即Stable Diffusion基础）将扩散过程移至VAE的潜在空间，大幅降低计算成本； classifiers-free guidance（CFG）则实现了强文本引导生成。

扩散模型的崛起标志着生成式AI进入了一个新阶段：它融合了VAE的潜在空间思想、GAN的生成质量，并提供了更稳健的训练范式。如今，扩散模型已成为图像、音频、视频生成的主流技术基石。

1.2 核心概念：理解生成式AI的三大支柱

要深入掌握生成式AI，必须理解其背后的三大核心支柱：概率建模与推断、神经网络函数逼近与优化与博弈理论。这些概念贯穿VAE、GAN与扩散模型，是解读技术文献与实现创新应用的理论基础。

1.2.1 概率建模与推断：生成式AI的数学灵魂

生成模型的根本目标是学习数据分布 $p_{\text{data}}(\mathbf{x})$，并从中采样新样本。这要求模型具备对数据生成机制的概率描述能力。在深度学习中，这通常通过定义一个含参数的生成过程 $p_\theta(\mathbf{x})$ 实现，参数 $\theta$ 由神经网络表示。学习过程即为通过最大似然估计（MLE）或变分推断优化 $\theta$，使模型分布逼近数据分布。

关键概念解析：

• **似然与对数似然**：模型在数据上的概率 $p_\theta(\mathbf{x})$。由于乘积形式易导致数值下溢，实际优化对数似然 $\log p_\theta(\mathbf{x})$。最大似然估计等价于最小化模型分布与数据分布之间的KL散度 $D_{KL}(p_{\text{data}} \| p_\theta)$。
• **隐变量模型**：引入隐含变量 $\mathbf{z}$ 简化复杂分布建模：$p_\theta(\mathbf{x}) = \int p_\theta(\mathbf{x}|\mathbf{z})p(\mathbf{z}) d\mathbf{z}$。VAE与许多扩散模型均属此类。
• **变分推断**：当后验 $p(\mathbf{z}|\mathbf{x})$ 难计算时，用变分分布 $q_\phi(\mathbf{z}|\mathbf{x})$ 近似，优化ELBO。ELBO可分解为重构项（负重构误差）与正则项（$q_\phi$ 与先验 $p(\mathbf{z})$ 的KL散度），平衡生成质量与潜在空间规整性。
• **得分匹配（Score Matching）**：扩散模型的核心。数据分布的对数梯度 $\nabla_{\mathbf{x}} \log p(\mathbf{x})$ 称为得分（score）。通过最小化预测得分与真实得分的Fisher散度，可学习分布而不需显式密度估计。Song等人的工作表明，去噪训练目标等价于得分匹配。

1.2.2 神经网络函数逼近：表示学习的威力

深度学习的核心优势在于神经网络作为通用函数逼近器，能够以高容量拟合复杂函数。在生成模型中，神经网络扮演以下关键角色： 1. 生成器网络：将潜在变量 $\mathbf{z}$（或噪声）映射到数据空间，如VAE解码器、GAN生成器、扩散模型中的去噪网络。其架构设计（卷积、注意力、归一化层）直接影响生成质量与效率。 2. 判别器/评分网络：在GAN中判别真伪；在扩散模型中预测噪声或得分。这些网络需具备足够的判别能力以提供有效学习信号。 3. 条件控制网络：在文本到图像生成中，如CLIP文本编码器、交叉注意力机制，将条件信息（文本）融入生成过程。

架构演进：从全连接网络到卷积神经网络（CNN）捕捉空间层次特征；再到生成对抗网络中的反卷积（转置卷积）结构；直至扩散模型中结合CNN与Transformer的U-Net架构，以及基于注意力的潜在扩散模型。注意力机制尤其关键，它使模型能建模长距离依赖，对文本条件生成至关重要。

1.2.3 优化与博弈理论：训练动态的基石

不同生成模型对应不同的优化范式：

• **最大似然优化（VAE）**：直接优化可计算的下界，梯度稳定，但可能陷入局部最优且受ELBO间隙限制。
• **对抗优化（GAN）**：最小极大问题，涉及两个网络交替更新。其动态复杂，需满足某些条件（如充分模型容量）才能收敛到全局最优。实践中常面临模式崩溃、训练不稳定。改进包括：梯度惩罚（WGAN-GP）、单侧标签平滑、历史平均等。
• **去噪 score 匹配（扩散模型）**：简化的均方误差回归，目标函数凸性较好，训练稳定。其采样过程可视为朗之万动力学（Langevin dynamics）或随机微分方程（SDE）的离散化，将生成转化为一个**概率路径**的逆向求解。

博弈视角：GAN是典型的双人零和博弈，其均衡分析涉及纳什均衡。扩散模型则可视为一个“单人”优化问题，但采样过程可解释为“对抗”噪声的逐步修复。这种视角转换是扩散模型稳健性的数学根源之一。

1.3 本书结构：从基础到前沿的完整路径

本书旨在为读者提供生成式AI视觉创造技术的系统性学习路径，涵盖理论、实现与应用。全书共15章，分为六大部分，每部分聚焦一个技术层次或应用领域，层层递进：

基础篇（第1-2章）

• 第1章（本章）：引言，概述发展历程、核心概念、全书结构与学习指南。
• 第2章：深度学习基础与PyTorch实践。复习卷积神经网络、注意力机制、自动微分，并通过PyTorch实现基础生成模型组件，为后续实战铺垫。

GAN技术篇（第3-5章）

• 第3章：生成对抗网络原理与稳定训练技巧。深入分析GAN的minimax博弈、收敛条件，详解WGAN、SNGAN等稳定化方法。
• 第4章：条