第一章：你好，生成式AI！—— 从‘画饼’到‘真香’的进化史 / Hello, Generative AI! — From 'Pie in the Sky' to 'Real Deal'

想象一下，你输入“一个穿着宇航服的柴犬在月球上喝茶”，AI不仅能理解，还能画出一幅充满细节、构图精妙的图像——这不是魔法，而是生成式AI（Generative AI）的魅力。2016年，Google的DeepDream将一幅普通照片变成扭曲的迷幻梦境；2018年，NVIDIA的StyleGAN生成的人脸逼真到让你怀疑自己的眼睛；2021年，OpenAI的DALL·E根据 whimsical 的文本描述创造出从未存在的生物。这些案例并非孤立的技术奇观，它们共同勾勒出一幅从“画饼”（理论构想）到“真香”（实际应用）的壮阔进化史。生成式AI已从实验室的学术玩具，演变为重塑创意产业、科学发现乃至日常生活的核心引擎。本章将带你穿越这段历史，厘清“生成”与“判别”这一对哲学双生子的本质差异，并为你绘制一幅从GAN（生成对抗网络）到扩散模型（Diffusion Model）的完整技术路线图。在点燃你的好奇心后，我们还将一起搭建好后续旅程所需的数学与编程“行囊”，确保你“磨刀不误砍柴工”。

生成模型发展简史：从统计梦想到深度学习革命

生成式AI的根源可追溯至计算机诞生之初对“创造”的追求。早在深度学习浪潮之前，生成任务主要由概率图模型（Probabilistic Graphical Models, PGMs）和统计方法主导，其核心思想是：显式地建模数据的概率分布 $P(x)$，然后从中采样以生成新样本。

早期统计生成模型（20世纪80-90年代）

• **n-gram 模型**：在自然语言处理（NLP）中，通过统计词语序列的联合概率 $P(w_1, w_2, ..., w_n)$ 来生成文本。例如，给定“今天天气”，模型计算下一个词“很好”、“晴朗”的概率。但这类模型仅能捕捉局部依赖，无法建模长程语义，生成的文本往往逻辑断裂。
• **隐马尔可夫模型（HMM）**：用于序列生成，如语音合成。它假设存在一个隐藏的状态序列，每个状态发射一个观测（如音素），通过转移概率和发射概率建模。HMM 能生成连贯的序列，但受限于马尔可夫假设（当前状态仅依赖前一状态），难以捕捉复杂结构。
• **朴素贝叶斯**：虽然主要用于分类（判别），但其生成式视角——通过 $P(x|y)P(y)$ 建模特征分布——启发了后续思路。

这些模型的共同局限是：需要大量领域知识设计特征和结构，且难以处理高维、复杂数据（如图像）。它们的“生成”能力在低维离散空间（如文本词序列）尚可，但面对图像这种百万像素的连续空间时，显式概率建模变得几乎不可能——你无法为一张 $256 \times 256$ 的 RGB 图像定义一个可计算的全联合概率分布。

神经网络的曙光：自编码器与变分自编码器（2013-2014）

2013年，Kingma 和 Welling 提出变分自编码器（Variational Autoencoder, VAE），首次在深度学习框架下实现了可训练的生成模型。VAE 的核心思想是： 1. 使用编码器（神经网络）将输入 $x$ 映射到隐变量 $z$ 的分布参数（均值 $\mu$ 和方差 $\sigma$），即 $q_\phi(z|x)$（后验分布）。 2. 假设先验分布 $p(z)$ 为标准正态分布 $\mathcal{N}(0, I)$。 3. 通过变分推断最小化后验 $q_\phi(z|x)$ 与先验 $p(z)$ 的 KL 散度，同时最大化数据似然 $\log p_\theta(x|z)$。 4. 解码器 $p_\theta(x|z)$ 从隐空间采样 $z \sim p(z)$ 重构 $x$。

VAE 的损失函数为： $$\mathcal{L}_{VAE} = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z))$$

VAE 开创性地将生成问题转化为优化隐空间分布的问题，使得从隐空间采样 $z$ 并通过解码器生成新样本成为可能。然而，VAE 生成的图像往往模糊，原因在于其使用的均方误差（MSE）或交叉熵重建损失倾向于“平均解”，隐空间过于平滑，细节丢失。

GAN 的颠覆性登场（2014）

2014年，Goodfellow 等人提出生成对抗网络（Generative Adversarial Network, GAN），彻底改变了生成式AI的格局。GAN 的灵感来源于博弈论中的二人零和博弈：

• **生成器 $G$**：接收随机噪声 $z \sim p_z(z)$（如高斯分布），输出伪样本 $G(z)$，试图模仿真实数据分布 $p_{data}(x)$。
• **判别器 $D$**：接收样本 $x$，输出其为真实的概率 $D(x)$，试图区分真实样本与生成样本。
• **对抗训练**：两者通过 minimax 博弈共同优化：

$$\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$$

GAN 的突破在于：用判别器作为动态的、可学习的“质量评估器”，直接推动生成器提升样本质量，而非依赖像素级的重建损失。这导致 GAN 生成的图像锐利、细节丰富，首次在质量上媲美真实照片。2017-2019年，随着 DCGAN（确立卷积架构）、WGAN（解决训练不稳定）、StyleGAN（引入风格向量实现精细控制）等里程碑工作的出现，GAN 在人脸生成、图像超分辨率、风格迁移等领域达到巅峰。

但 GAN 的辉煌背后潜藏着深刻危机：

• **训练不稳定**：生成器与判别器的博弈易导致模式崩溃（Mode Collapse），即生成器只产出少数几种样本，多样性丧失。
• **评估困难**：缺乏明确的似然目标，常用 Inception Score (IS) 或 Fréchet Inception Distance (FID) 等代理指标，但这些指标与人类感知未必一致。
• **理论缺陷**：GAN 的优化目标非凸且不保证收敛，实践中需要大量调参。

扩散模型的逆袭（2020-至今）

就在 GAN 如日中天时，另一条技术路线——扩散模型（Diffusion Model）——悄然成熟。其思想源于非平衡统计力学：通过一系列正向过程（添加噪声）将数据破坏为纯噪声，再学习逆向过程（去噪）从噪声中重建数据。

2020年，Ho 等人提出 去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM），奠定了现代扩散模型的基础： 1. 正向过程（Forward Process）：逐步向图像 $x_0$ 添加高斯噪声，经过 $T$ 步后变为近似标准正态分布 $x_T$。这是一个马尔可夫链，每一步： $$q(x_t | x_{t-1}) = \mathcal{N}(x_t; \sqrt{1-\beta_t} x_{t-1}, \beta_t I)$$ 其中 $\beta_t$ 是噪声调度（noise schedule），通常从小增大。 2. 逆向过程（Reverse Process）：学习从噪声 $x_t$ 逐步去噪得到 $x_{t-1}$，建模为参数化的高斯过程： $$p_\theta(x_{t-1} | x_t) = \mathcal{N}(x_{t-1}; \mu_\theta(x_t, t), \sigma_t^2 I)$$ 其中均值 $\mu_\theta$ 由神经网络（如 U-Net）预测。 3. 训练目标：简化后，只需预测在步骤 $t$ 添加的噪声 $\epsilon$： $$\mathcal{L}_{simple} = \mathbb{E}_{x_0, \epsilon \sim \mathcal{N}(0, I), t}[\| \epsilon - \epsilon_\theta(x_t, t) \|^2]$$ 其中 $x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \epsilon$，$\bar{\alpha}_t = \prod_{s=1}^t (1-\beta_s)$。

DDPM 的优势显而易见：

• **训练稳定**：损失函数简单（预测噪声），无需对抗博弈，收敛可靠。
• **模式覆盖完整**：通过均匀采样时间步 $t$，隐式学习整个数据分布，不易模式崩溃。
• **理论清晰**：基于概率论，可计算似然下界（ELBO），与变分推断一脉相承。

2021年后，扩散模型在图像生成上迅速超越 GAN，在 FID 等指标上刷新纪录。更重要的是，其范式统一性凸显：通过调整条件输入（如文本、类别标签、其他图像），扩散模型可无缝扩展到文本到图像（DALL·E 2、Stable Diffusion）、图像到图像、视频生成、3D 形状生成等领域。Stable Diffusion 引入潜在扩散（Latent Diffusion），在低维潜在空间操作，大幅提升效率，使得高质量生成在消费级 GPU 上成为可能。

技术演进时间线

```mermaid timeline title 生成模型发展简史 section 统计时代 (1980s-2000s) n-gram, HMM : 局部建模，低维离散 section 深度学习萌芽 (2013-2014) VAE (2013) : 隐空间学习，图像模糊 section GAN 时代 (2014-2020) DCGAN (2015) WGAN (2017) StyleGAN (2019) : 高质量，锐利，但不稳定 section 扩散模型崛起 (2020-) DDPM (2020) Latent Diffusion (2022) : 稳定，模式覆盖，统一范式 ```

这条时间线揭示了一个深刻趋势：生成模型从“手工设计概率结构”走向“端到端学习数据分布”，从“单一模态”走向“多模态统一”。GAN 和扩散模型分别代表了两种哲学：GAN 通过对抗达到精炼，扩散模型通过迭代去噪达到完备。本书将深入剖析这两条路径，并探讨它们如何共同塑造了今日的生成式AI版图。

生成 vs 判别：核心哲学差异与统一

理解生成式AI，必须首先厘清“生成”与“判别”这一对 foundational 概念。它们不仅是机器学习的两大范式，更反映了对“智能”的不同哲学视角。

判别模型：学习边界，做出决策

判别模型（Discriminative Model）的核心任务是学习条件概率分布 $P(y|x)$，即给定输入 $x$（如图像像素），预测输出 $y$（如类别标签）。典型代表包括：

• 逻辑回归、支持向量机（SVM）
• 卷积神经网络（CNN）用于图像分类
• 循环神经网络（RNN）、Transformer 用于序列标注

判别模型的本质是寻找决策边界。以手写数字识别（MNIST）为例，判别模型学习在像素空间中划分“0”、“1”等数字的区域。它不关心数字“0”是如何被人类画出来的——像素间的具体关联、笔画的多样性——只关心如何最有效地将输入的像素块归类。

优势：

• 通常更简单，训练更快。
• 在分类、回归等任务上准确率高。
• 不建模数据本身的分布，专注预测。

局限：

• 无法生成新样本，因为它没有数据分布的模型。
• 对异常检测、数据补全等任务能力有限（需额外设计）。

数学上，判别模型优化的是： $$\max_\theta \mathbb{E}_{(x,y) \sim p_{data}}[\log P_\theta(y|x)]$$

生成模型：学习世界，创造新样本

生成模型（Generative Model）的核心任务是学习联合概率分布 $P(x, y)$ 或边际分布 $P(x)$，从而能够： 1. 生成新样本：从 $P(x)$ 或 $P(x|y)$ 采样，得到逼真的新数据。 2. 补全缺失数据：计算 $P(x_{missing}|x_{observed})$。 3. 进行概率推理：如 $P(y|x)$ 可通过贝叶斯定理 $P(y|x) = \frac{P(x|y)P(y)}{P(x)}$ 获得。

生成模型试图理解数据的“本质”——像素如何组合成猫、狗、人脸；词语如何组织成通顺句子。它需要捕捉数据的高阶相关性、多样性和潜在结构。

代表性模型：

• **显式密度模型**：如 PixelCNN（自回归），直接建模 $P(x) = \prod_i P(x_i | x_{<i})$，但采样慢（顺序生成）。
• **隐式密度模型**：如 GAN，不显式定义 $P(x)$，而是通过生成器定义采样过程 $x = G(z)$，$z \sim p(z)$。
• **扩散模型**：通过正向/逆向过程，隐式学习数据分布，可计算似然下界。

优势：

• 能生成高质量、多样化的新样本。
• 对数据分布有更全面的理解，适用于生成、补全、异常检测等多种任务。
• 可结合先验知识（如条件生成）。

挑战：

• 建模高维复杂分布极其困难，训练通常更复杂。
• 评估生成质量比判别任务更主观（常用 FID、IS 等）。

数学上，生成模型优化的是： $$\max_\theta \mathbb{E}_{x \sim p_{data}}[\log P_\theta(x)]$$ 或等价地，最小化 $P_{data}$ 与 $P_\theta$ 之间的散度（如 KL 散度）。

哲学统一：生成与判别的互补光谱

实际上，生成与判别并非截然对立，而是一个连续光谱的两端。许多模型兼具两者特性：

• **VAE**：编码器 $q_\phi(z|x)$ 本质是判别器（学习后验），解码器 $p_\theta(x|z)$ 是生成器。
• **GAN**：判别器 $D$ 是判别模型，生成器 $G$ 是生成模型，二者对抗。
• **扩散模型**：噪声预测器 $\epsilon_\theta$ 可视为判别器（预测噪声），逆向过程生成样本。

更深刻的洞见来自 “生成即判别” 的视角：在 GAN 中，判别器 $D$ 的输出 $D(x)$ 可解释为真实数据分布 $p_{data}(x)$ 与生成分布 $p_g(x)$ 的密度比估计： $$D^*(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}$$ 因此，训练判别器等价于学习数据分布，而生成器试图欺骗判别器，即让 $p_g$ 逼近 $p_{data}$。这揭示了判别任务如何间接服务于生成目标。

对比表格：

| 特性 | 判别模型 | 生成模型 | |------|----------|----------| | 目标函数 | $\log P(y|x)$ | $\log P(x)$ 或 $\log P(x,y)$ | | 核心能力 | 分类、回归、决策 | 生成、补全、采样 | | 对数据分布建模 | 否 | 是 | | 训练稳定性 | 通常稳定 | GAN 不稳定；扩散稳定 | | 评估指标 | 准确率、F1 | FID、IS、人类评估 | | 典型应用 | 图像分类、机器翻译 | 图像生成、文本创作 |

为什么生成更难？ 因为判别模型只需学习 $x$ 和 $y$ 之间的映射，而生成模型必须捕获 $x$ 的整个概率流形——包括所有可能的模式、细微变化和长尾分布。想象一下：判别模型只需学会区分“猫”和“狗”的边界；生成模型却要理解“猫”的所有姿态、品种、光影下的变化，并能凭空创造出一只前所未有的猫。这要求模型对数据有更本质的认知。

在本书后续章节，我们将看到：GAN 通过对抗实现了“判别驱动的生成”，以锐利取胜但代价是稳定性；扩散模型通过迭代去噪实现了“概率驱动的生成”，以稳定和全面性胜出。两者都是“生成”与“判别”哲学的不同实现，共同推进了视觉创造的边界。

本书路线图：从 GAN 到扩散模型的视觉创造技术全景

生成式AI的发展并非线性替代，而是多条路径交织演进。本书以视觉创造为主线，聚焦图像与视频生成，系统梳理从 GAN 到扩散模型的技术脉络，并展望多模态统一未来。路线图如下：

第一部分：GAN 开启的高质量图像合成时代（第2-5章）

GAN 是第一个在高分辨率、高保真度图像生成上取得突破的模型，其对抗训练思想深刻影响了后续所有生成模型。

• **第2章：GAN 基本原理与基石架构**：深入剖析 minimax 博弈、网络架构（DCGAN）、训练技巧（归一化、激活函数），通过手写数字（MNIST）生成案例，理解 GAN 如何“学会”数据分布。
• **第3章：GAN 的演进：从模式崩溃到风格控制**：剖析 WGAN（Wasserstein 距离）、WGAN-GP（梯度惩罚）如何解决训练不稳定；详解 StyleGAN 的渐进式生成、风格向量（Style Vector）、AdaIN 及风格混合（Style Mixing），展示其如何实现精细语义控制。
• **第4章：GAN 的应用生态与局限**：涵盖图像超分辨率（SRGAN）、图像到图像翻译（Pix2Pix、CycleGAN）、人脸操作（DeepFakes 技术原理与伦理）、数据增强。同时，直面 GAN 的痛点：模式崩溃、评估难题、多样性不足。
• **第5章：超越像素：GAN 在视频与3D的尝试**：探讨视频生成（DVD-GAN）、3D 形状生成（GRAF）、神经渲染（NeRF 与 GAN 结合），揭示 GAN 在时序和几何数据上的潜力与瓶颈。

本部分核心观点：GAN 通过判别器提供的高质量梯度，实现了“精炼”的生成，但其博弈本质导致训练如履薄冰，且隐空间结构不明确，限制了可控性与多样性。

第二部分：扩散模型——稳定、统一的新范式（第6-10章）

扩散模型以概率论为基石，通过前向-反向过程，实现了稳定、高质量的生成，并展现出惊人的模态统一能力。

• **第6章：扩散模型数学基础**：从随机微分方程（SDE）和马尔可夫链角度，推导 DDPM 的数学本质。详解噪声调度、重参数化技巧、训练目标简化。用 LaTeX 展示关键推导。
• **第7章：加速采样与改进训练**：介绍 DDIM（非马尔可夫采样）、DPM-Solver（常微分方程求解器）、Latent Diffusion（潜在空间加速）。对比采样速度（20步 vs 1000步）与质量权衡。
• **