生成式AI全景：历史脉络、技术分类与产业格局

生成式AI全景：历史脉络、技术分类与产业格局

如果只能用一个问题来概括 2023 年之后整个 AI 行业的集体焦虑，那这个问题一定是：*生成式 AI 的版图到底有多大，它的核心骨架由哪些支柱撑起，作为一个研究者或工程师，应该如何在这个版图里给自己定位？* 从 2014 年 Ian Goodfellow 在蒙特利尔一家小酒馆里写下 GAN 的代码，到 2024 年 OpenAI 用 Sora 把视频生成拉进 60 秒连贯片段的纪元，十年时间，生成式 AI 从学术圈的冷门论文变成了万亿美元估值的产业发动机。本章不预设任何先验知识，而是用一条从"是什么"到"怎么分类"再到"怎么落地"的主线，把整片森林的结构呈现出来，让读者在阅读后续章节之前，手里已经有一张比例尺正确的地图。

1.1 十年里程碑：从 GAN 到 Sora 的技术演进时间线

理解生成式 AI 最快的方式，是沿着时间线把里程碑串起来。每一次范式跃迁都不是偶然，而是上一个范式在某个维度（训练稳定性、样本多样性、推理成本、可控性）上触顶之后，被新方法绕过瓶颈的产物。

阶段一：奠基期（2013–2016）。 这一阶段的核心命题是"如何让神经网络学会输出一个分布"。2013 年 Diederik Kingma 和 Max Welling 提交了 VAE（Variational Autoencoder）论文 *Auto-Encoding Variational Bayes*，把变分推断和自编码器嫁接起来，第一次让深度网络具备了对 $p_\theta(x)$ 显式建模的能力。其核心是证据下界（ELBO）：

$$\log p_\theta(x) \geq \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - D_{KL}(q_\phi(z|x) \| p(z))$$

左侧是对数似然，右侧第一项是重建项，第二项是正则项，这套分解在后续十年里被反复借用。2014 年，Goodfellow 在 NeurIPS 会议上口头报告了 GAN（Generative Adversarial Network），用判别器 $D$ 和生成器 $G$ 的极小极大博弈 $\min_G \max_D \mathbb{E}_{x\sim p_{data}}[\log D(x)] + \mathbb{E}_{z\sim p_z}[\log(1-D(G(z)))]$ 绕开了显式似然的计算难题，从此生成式建模分成两条路径：似然模型（likelihood-based）走 VAE、Flow、Diffusion；隐式模型（implicit）走 GAN。

阶段二：扩张期（2017–2019）。 Transformer（Vaswani et al., 2017）原本是为机器翻译设计的，但很快就显露出"通用序列建模器"的潜力。Google 的 PixelCNN、OpenAI 的 iGPT 把图像切成序列，用自回归范式逐像素或逐 token 预测，在 ImageNet 上首次跑出能与 GAN 抗衡的 FID。2017 年 Aaron van den Oord 提出 VQ-VAE，把离散 latent code 引入生成式建模，使得"图像 token"成为可能，这是后来 DALL·E、Stable Diffusion 编码器的鼻祖。2018–2019 年间，BigGAN 把类别条件生成推到 FID 7.4 的水准，StyleGAN 在人脸生成上达到"以假乱真"——这些都是 GAN 范式的最后辉煌，也暴露了 GAN 训练不稳定、模式崩塌、难以覆盖长尾分布的致命弱点。

阶段三：扩散革命（2020–2022）。 2020 年 Jonathan Ho 等人在 NeurIPS 发表 *Denoising Diffusion Probabilistic Models*（DDPM），把去噪过程形式化为一个 T 步马尔可夫链的逆向学习问题：

$$L_{simple} = \mathbb{E}_{t,x_0,\epsilon}\left[\|\epsilon - \epsilon_\theta(\sqrt{\bar\alpha_t} x_0 + \sqrt{1-\bar\alpha_t}\epsilon, t)\|^2\right]$$

由于目标函数简单（预测噪声的 MSE）、训练稳定（无需对抗博弈）、样本质量高（FID 可与 SOTA GAN 持平），DDPM 迅速取代 GAN 成为图像生成的事实标准。2021 年 Yang Song 的 *Score-Based Generative Modeling through Stochastic Differential Equations* 把离散加噪过程升级为连续 SDE 框架，揭示了 DDPM 与 score matching 的等价性，为后续采样加速（如 DDIM、DPM-Solver）提供了理论武器。2022 年是分水岭：Robin Rombach 等人的 LDM（Latent Diffusion Model）把扩散过程从像素空间搬到 VAE 的 latent 空间，显存和算力需求降低一个数量级，直接催生了 Stable Diffusion 的开源发布——这是生成式 AI 第一次真正"民主化"，任何拥有消费级显卡的人都能本地跑出 512×512 图像。

阶段四：规模化与多模态（2023–2025）。 2023 年 Peize Sun 等人的 DiT（Diffusion Transformer）证明：把 U-Net 换成 Transformer block，扩散模型在 ImageNet 上的 FID 随着参数量呈幂律下降，这意味着扩散模型也吃"规模红利"，与 LLM 的 scaling law 殊途同归。2024 年 2 月 OpenAI 发布 Sora，用 spatio-temporal patch + Transformer 扩散的架构把视频时长推到 60 秒，并展示出对物理世界的一定理解能力（虽然这个"理解"是否真实仍是学术争论焦点）。2024 年下半年到 2025 年，Wan、MovieGen、Veo、可灵等模型密集发布，视频生成从"几秒钟 demo"变成"具备生产可用性"的工程问题。

把以上四个阶段压缩到一张图，就得到下面这棵技术树：

```mermaid flowchart TD A[Generative AI 2013-2025] --> B[VAE Family] A --> C[GAN Family] A --> D[Flow Models] A --> E[Diffusion Family] A --> F[Autoregressive] B --> B1[VAE 2013] B --> B2[VQ-VAE 2017] B --> B3[VAE-GAN 2017] C --> C1[GAN 2014] C --> C2[StyleGAN 2019] C --> C3[BigGAN 2018] D --> D1[NICE 2014] D --> D2[RealNVP 2016] D --> D3[Glow 2018] E --> E1[DDPM 2020] E --> E2[Score SDE 2021] E --> E3[LDM 2022] E --> E4[DiT 2023] E --> E5[Sora 2024] F --> F1[PixelCNN 2016] F --> F2[GPT 2020] F --> F3[VAR 2024] ```

判断：时间线表面上是"百花齐放"，但底层是三条主线的交替领先：质量线（GAN 2014–2019、Diffusion 2020–）、效率线（VAE 编码、Latent Diffusion）、规模化线（Transformer、DiT、Sora）。任何新模型发布，用这三条线作为坐标轴去定位，立刻能看出它的核心贡献落在哪条线上。

1.2 四大范式：自回归、VAE、GAN 与扩散模型的技术定位

里程碑只是事件列表，分类法（taxonomy）才能让读者具备"看到新模型就能秒分类"的能力。这里给出一套在学术界被广泛采用的二维分类法：密度建模 vs 隐式建模 × 单步生成 vs 多步生成。

第一维关注的是目标函数。显式密度模型（explicit density）直接对 $p_\theta(x)$ 建模或给出可计算的似然下界，VAE、Normalizing Flow、Energy-Based Model、扩散模型（在 score matching 视角下）都属于此类；它们的训练目标都是最大化 $\log p_\theta(x)$ 的某个下界或等价物。隐式密度模型（implicit density）则只提供采样过程，无法写出 $p_\theta(x)$ 的闭式表达，GAN 是唯一广泛使用的隐式范式——它通过判别器 $D$ 提供梯度信号，让生成器 $G$ 间接学到分布。

第二维关注推理路径。单步生成（one-shot）指从噪声 $z$ 到样本 $x$ 只需一次前向传播，GAN、VAE、Flow 都属此类；多步生成（multi-step）指需要迭代去噪，扩散模型是典型代表，每一步都依赖上一步的输出。

| 范式 | 显式/隐式 | 步数 | 代表模型 | 优势 | 劣势 | |------|-----------|------|----------|------|------| | 自回归 (Autoregressive) | 显式 | 多步 | GPT, PixelCNN, VAR | 训练稳定，易扩展到长序列 | 推理慢，序列长度敏感 | | VAE | 显式 | 单步 | VAE, VQ-VAE, VQ-VAE-2 | 训练稳定，潜空间规整 | 样本偏模糊，FID 偏高 | | GAN | 隐式 | 单步 | StyleGAN, BigGAN, SDXL-Turbo | 推理快，样本锐利 | 训练不稳，模式崩塌，覆盖差 | | 扩散 (Diffusion) | 显式（score） | 多步 | DDPM, LDM, DiT, Sora | 训练最稳，覆盖最广，质量最高 | 推理慢（需多次去噪） |

自回归范式 把生成问题转化为条件概率分解 $\prod_i p(x_i | x_{<i})$，语言模型是这个范式最极致的成功案例。当下火的 VQ-Diffusion、VAR（Visual AutoRegressive modeling）都把图像 token 化后用 GPT 风格的 next-token prediction 训练。VAR 在 2024 年用"next-scale prediction"在 ImageNet 上首次击败 DiT-XL，FID 达到 1.97，重新点燃了 AR 在图像领域的希望。它的优势是 LLM 的整套基础设施（KV cache、FlashAttention、speculative decoding）可以直接迁移，劣势是"序列长度 = token 数量"对显存的压力仍很大。

VAE 范式 严格说不是"生成器"，而是"压缩器 + 概率解码器"。它真正的影响力在编码端：Stable Diffusion 用 VAE 把 512×512×3 的图像压成 64×64×4 的 latent，压缩比 48 倍，扩散过程在 latent 上跑，效率提升一个数量级。VQ-VAE-2 把这个思路推到 256×256 高清图像的离散编码，为后续 Imagen、DALL·E 2 提供了"图像字典"。

GAN 范式 的核心矛盾是"判别器越强，生成器梯度越稀疏"（gradient vanishing）。StyleGAN 系列通过映射网络（mapping network）、自适应实例归一化（AdaIN）、风格混合（style mixing）把人脸生成的 FID 推到 0.8 以下，代价是网络结构和训练技巧高度特化，难以泛化到非人脸数据。BigGAN 用类别条件 BatchNorm、Spectral Normalization 把 ImageNet 条件生成推到 FID 6.9，但训练需要 128–512 块 TPU，只有大厂能玩。2024 年发布的 GAN-SOTA（如 StyleGAN-T、SDFusion）已经把扩散模型的多数 trick 学了过去，但单步生成的本质局限（无法像扩散那样逐步精修）使它在质量上限上仍略逊一筹。

扩散范式 是当下"事实上的行业标准"，值得用一整个章节（本书第 4–6 章）展开。本节只给出一个工程化视角的总结：扩散模型的训练目标是预测噪声，和 LLM 的 next-token prediction 一样简洁到可以用一个 loss 函数跑通整个 pipeline，这是它能被工业界快速接受的根本原因。它的代价是推理需要 T 步去噪，T=50–1000 都常见，蒸馏（如 Consistency Model、LCM-LoRA）和 ODE 求解器（DDIM、DPM-Solver）把 T 降到 4–8 步后，扩散模型的实用性才彻底释放。

判断：未来五年最可能的趋势是"混合范式"——比如用 AR 做 coarse-to-fine 的全局结构、用 Diffusion 做局部细节的精修。OpenAI 的 DALL·E 3 + GLIDE、Stability AI 的 SD3 + AutoencoderKL 都体现这个思路。读者看到一个新模型时，先回答两个问题：它的 loss 函数是显式似然还是对抗博弈？它的推理是单步还是多步？90% 的模型可以立刻归类。

1.3 模态统一视角：图像、视频、3D 与音频的生成挑战

把生成问题按模态（modality）切分，是因为不同模态有截然不同的先验结构和评价指标，但底层数学框架是统一的——这正是 2024 年以来"scaling everything"叙事的根基。

图像生成 是最成熟、竞争最激烈的模态。ImageNet 256×256 上的 FID 已经从 2017 年 GAN 的 50+ 降到 2024 年的 1.5 以内（DiT-XL/2、SD3），COCO 256×256 上的 FID 也在 6 左右（SDXL、SD3）。技术红利在 2024 年后明显放缓，单纯堆参数已经不能让 FID 显著下降，业界开始把注意力转向"可控性"（ControlNet、IP-Adapter、T2I-Adapter）、"一致性"（character consistency、style consistency）、"文本理解"（长 prompt 解析、世界知识）。一个标志性事件是 2023 年中 ControlNet 发布后，任何"线稿→图像"、"姿态→图像"、"深度→图像"的可控生成都变得大众化，这是 LDM 之后第二个开源里程碑。

视频生成 是 2024 年的"圣杯"。视频比图像多一个时间维度 $t$，挑战从"空间一致性"扩展为"时空一致性"，加上视频数据量是图像的 100 倍以上（一个 60 秒 1080p 视频 ≈ 6 万张图）、存储和算力呈数量级上升。Sora 的技术报告 *Video generation models as world simulators* 给出了关键解法：把视频切成 spatio-temporal patch（在时间和空间维度上同时 patchify），用 Transformer 在 patch 序列上做扩散。Sora、Wan 2.1、Veo 2、可灵 1.5、MovieGen 在 2024–2025 年密集迭代，物理一致性（物体不会突然消失或变形）、长时一致性（角色跨镜头保持同一外观）、指令遵循（精确按脚本生成）仍是开放问题。视频生成的成本结构是"训练一次 $1–10M，推理一条 10 秒视频 $0.1–1"，这使得它短期内仍是 ToB 和高端创作者工具，难以像图像那样 ToC 普及。

3D 生成 有三条主要技术路线：（1）NeRF / Gaussian Splatting 路线，先优化一个神经辐射场或 3D 高斯场，再从任意视角渲染，对单场景效果好但生成新场景慢；（2）Diffusion 路线，在 2D 图像上训练 diffusion，然后通过 score distillation sampling（SDS）把 2D 先验"蒸馏"到 3D 表达（DreamFusion、ProlificDreamer），缺点是 SDS 容易过饱和、几何不准；（3）原生 3D Diffusion，直接在 3D 数据上训练扩散模型（3DDiT、Direct3D），数据稀缺是最大瓶颈。2024 年来 3D 生成最大的突破是 Gaussian Splatting 取代 NeRF 成为后端表达（更快、更可编辑），加上 LRM（Large Reconstruction Model）系列用单图做"图像 → 3D Gaussian"的端到端推理，3D 生成开始从"科研 demo"走向"商品化服务"（Tripo3D、Meshy、CSM）。

音频生成 比想象中更复杂。音频分为语音（speech）、音乐（music）、音效（sound effect）三个子方向，对应完全不同的评价指标。语音合成方面，VITS、NaturalSpeech 3 已经做到接近真人；音乐生成方面，MusicLM、MusicGen、Stable Audio 在 2024 年已经能生成结构完整的 3 分钟歌曲；音效方面 AudioLDM 2、SoundStorm 把扩散模型推到 44.1kHz 高保真音频。一个 2024 年的新趋势是"全模态统一"——GPT-4o、Chameleon、Show-o 把图像、音频、视频、文本统一为一个 token 序列，用同一个 Transformer 处理，这背后是"一切皆 token，token 皆可预测"的信念。

统一的视角：四个模态都可以拆解为"编码 + 扩散/AR + 解码"的三段式 pipeline。图像是 VAE encode → diffusion → VAE decode；视频是 3D-VAE encode → diffusion → 3D-VAE decode；3D 是 point cloud/NeRF/Gaussian encode → diffusion → mesh/SDF decode；音频是 mel-spectrogram VAE encode → diffusion → HiFi-GAN decode。掌握了这个"三段式"心法，跨模态迁移就只是编码器和解码器的