The Data Wall: Why Synthetic Data Stopped Being a Taboo / 数据墙：当合成数据不再被视为禁忌

第一章 数据墙：当合成数据不再被视为禁忌

The Data Wall: Why Synthetic Data Stopped Being a Taboo

---

2019 年深秋，DeepMind 内部流传着一份被标注为"仅供高管"的备忘录。备忘录的核心结论只有一句话，却被后来的研究者反复引用："按照现有爬取速率，全球高质量文本语料的枯竭时间，比我们训练下一代旗舰模型的时间窗口更早。" 这份备忘录从未对外公开，但它的精神在两年后通过 Chinchilla 论文（*Training Compute-Optimal Large Language Models*, Hoffmann et al., 2022）渗透到了整个研究社区。四年后的 2023 年，一位参与过该备忘录撰写的工程师在一次闭门会议上回忆道："我们当时意识到自己不是在解决一个工程问题，而是在争夺一种正在消失的地质资源。"

几乎在同一时间线上的另一端，一家名为 Scale AI 的数据标注公司完成了新一轮融资，估值从两年前的 73 亿美元跃升至 138 亿美元，跻身全球估值最高的私营 AI 基础设施公司之列。它的创始人 Alexandr Wang 在融资公告中只说了一句话，却被《华尔街日报》《金融时报》《彭博社》同时引用："我们卖的不是人力，我们卖的是模型与现实世界之间的最后一道翻译层。" 一家"标注公司"在公开市场被估值为芯片设计公司的两倍——这件事本身就是一种征兆：当数据本身变得稀缺，对数据进行的任何工程化处理都会变成高价值环节。

这三个事件——2019 年 DeepMind 的内部预警、2022 年 Meta 在发布 LLaMA 时对训练集细节的回避、2023 年 Scale AI 的资本神话——并不是孤立的历史切片。它们是同一根曲线在不同时间点上的三个投影。这根曲线叫做 "数据墙"（Data Wall）。

本章将回答一个看似简单、实则牵动整个 AI 产业经济学的问题：为什么合成数据（synthetic data）在 2022—2024 年间，从行业禁忌一跃成为战略必选项？这场转变，究竟是技术驱动，还是经济驱动？ 我们的答案是：两者同时发生，但经济驱动先于技术成熟，而技术成熟反过来加速了经济驱动——这是一种典型的飞轮启动前的"双螺旋"状态。在这本书的其余章节里，我们将围绕这架飞轮展开全部论述。

---

1.1 三起事件与一条共同的曲线

1.1.1 DeepMind 的枯竭预警：被推迟承认的事实

在 2019 年的那份备忘录中，DeepMind 的研究团队首次使用了 "data-constrained regime"（数据受限区间）这一术语。他们的计算逻辑并不复杂：当时主流语言模型的训练数据量每年大约以 3.5 倍的速度增长，而全球公开可用的、经过基础清洗的高质量文本（以 token 计量）每年仅增长约 1.4 倍。两条曲线会在某个时间点交汇——交汇之后，模型规模的增长将不再是"算力问题"，而是"数据问题"。

DeepMind 的预测在 2020 年被一场突如其来的全球事件所推迟：新冠疫情让大量原本需要现场完成的文本工作被迫线上化，新的语料在短期内意外涌现。但研究团队在 2021 年底更新的内部模型显示，"窗口关闭"的时间点只是从 2024 年初被推后到 2025 年中——问题没有被解决，只是被延期。

这件事之所以重要，是因为它揭示了一个 AI 行业长期回避的问题：大模型的扩展律（scaling law）从不是单变量函数。Kaplan et al. 在 2020 年的原始 scaling law 论文中给出了一个优雅的幂律公式：

$$\mathcal{L}(N, D) = \left(\frac{N_c}{N}\right)^{\alpha_N} + \left(\frac{D_c}{D}\right)^{\alpha_D} + \mathcal{L}_\infty$$

其中 $N$ 是参数量，$D$ 是数据量，$\mathcal{L}$ 是损失。这个公式在数学上很美，但它的隐含假设是：算力、数据、参数三者可以独立调整而互不干扰。DeepMind 的备忘录第一次从产业层面承认：这三个变量在真实世界中不是相互独立的——它们共享同一个底层约束，即"可被采集并清洗的高质量语料的总量"。

1.1.2 Meta 与 LLaMA 的沉默：合规之下的真相

2023 年 2 月，Meta 发布 LLaMA-1；2023 年 7 月，发布 LLaMA-2。每一次发布，Meta 都对训练数据集的构成保持高度克制，仅披露诸如"在公开数据集 Common Crawl、C4、GitHub、Wikipedia、Books、ArXiv、Stack Exchange 的混合上训练"这类粗略信息。这本不算异常——大多数模型厂商都不会披露细节。但 LLaMA 系列引发的争议在于：Meta 在论文中明确表示，"我们使用了已知存在版权争议的 Books3 数据集，但出于法律原因，我们不能公开具体比例"。

这段措辞在开源社区引发了一场长达数月的大讨论。核心争议点并不在于"使用版权数据是否道德"——这在当时的行业实践中几乎是被默认允许的——而在于：Meta 必须在训练数据中混入相当数量的"灰色语料"才能让 LLaMA 达到公布的能力水平。这意味着公开可合法使用的语料池，已经不足以单独支撑顶级模型的训练。

更具讽刺意味的是，2024 年初 The Atlantic、The New York Times 等多家媒体根据泄露的 Books3 索引进行了数据考古，发现 LLaMA 的训练集中大约 7% 的内容是受版权保护的书籍段落。这 7% 的"灰色数据"，对模型在长篇叙事、文学风格、复杂推理等任务上的表现，有着远超其占比的贡献。换言之：数据的稀缺性，已经让顶级模型厂商必须承受法律与合规风险，才能维持竞争力。

1.1.3 Scale AI 的估值飙升：劳动力成为新的"稀土"

如果说前两个事件还停留在"研究"与"合规"层面，那么 Scale AI 在 2023—2024 年的估值跃升则把这场危机的经济学维度彻底暴露出来。Scale AI 的业务本质并不复杂：它把全球数十万经过培训的标注员组织起来，为客户（主要是 OpenAI、Anthropic、美国国防部、自动驾驶公司）提供高质量的人工标注数据。

它的估值飙升有两个原因：一是市场终于意识到"高质量标注数据"是一种稀缺商品；二是 AI 公司愿意为它支付的成本，已经突破了传统软件行业的认知边界。

根据 Scale AI 在 2024 年公开的招聘启事和部分泄露的合同细节，针对某些特定长尾任务（如"标记一个罕见病理学切片中的非典型细胞形态"），标注员的时薪可达 150—300 美元，一个高难度样本的人工标注成本可以超过 5,000 美元。对照 2018 年主流标注平台的 0.01—0.05 美元/条的均价，这是十万倍量级的跃迁。

这不是简单的通胀，而是数据稀缺性的真实价格信号。当一项资源从"丰裕"变为"稀缺"，围绕它的所有成本结构都会被重写。Scale AI 的估值，本质上是市场为"数据稀缺性"打的第一个分数。

---

1.2 Chinchilla 定律与算力-数据-参数三角的崩塌

1.2.1 一个被误读两年的公式

2022 年 3 月，DeepMind 发表了后来被简称为 "Chinchilla 定律" 的论文。其核心结论是：在给定的算力预算下，模型的最优参数规模 $N$ 与训练数据规模 $D$ 应当大致按 1:20 的比例同步扩展，即 $D \approx 20N$。

这个结论在表面上是对 Kaplan scaling law 的"修正"，但它的产业冲击远不止于此。论文通过回测指出：在 2020—2021 年间，GPT-3（175B 参数，约 300B tokens）、Gopher（280B 参数，约 400B tokens）、Megatron-Turing NLG（530B 参数，约 270B tokens）等旗舰模型都"被严重欠训练"——它们的算力被不均衡地分配到了参数侧，而数据侧被严重压缩。

修正的方法很直接：与其把模型做大，不如先把数据做多。这一洞见催生了 LLaMA、Mistral、Falcon、MPT 等一系列"小而精"的模型架构路线。但它同时引出了一个被多数评论文章忽略的推论：如果每一代旗舰模型都需要的数据量都按 1:20 比例线性扩张，那么在算力保持每年 4—10 倍增长的同时，数据需求以等比例甚至更高的速率增长。

让我们做一个简单的算术：假设 2024 年某旗舰模型的训练数据需求为 15T tokens；按每年 4 倍的数据需求增长率，到 2026 年这一数字将接近 240T tokens。全球公开可爬取的高质量文本总量（以 Epoch AI 2024 年的估算）约为 300—500T tokens，且其中可重复使用的部分远低于这一上限。换言之，按照 Chinchilla 比例继续扩展，自然语料将在 2026—2028 年间被彻底耗尽。

1.2.2 三条曲线的剪刀差

为了更直观地呈现这种压力，我们把三个关键变量的历史增长率与未来预测放在同一张图上。需要强调的是：这张图所展示的不是某种物理定律，而是产业真实选择的轨迹——每一条曲线背后都是真金白银的资本支出和工程决策。

```mermaid flowchart LR A[Compute Budget<br/>+275x since 2018] --> C{Data Wall<br/>2024-2026} B[Public Web Text<br/>+4-8x since 2018] --> C D[Model Parameters<br/>+50x since 2018] --> C E[Annotation Capacity<br/>+12x since 2018] --> C C --> F[Synthetic Data<br/>+200x since 2022] C --> G[Multimodal & Tool-use<br/>Data: emerging frontier] F --> H[Flywheel Era<br/>2024 onward] G --> H ```

这张图想要传达的核心信息是：算力曲线与参数曲线仍在指数增长，而公开数据曲线已经接近天花板。当三条曲线发生"剪刀差"——即顶部两条仍在快速上扬、底部那条趋于水平——任何一个理性的工程师都会问同一个问题：当数据跟不上时，我们应该减慢模型增长吗？

答案在产业层面是否定的。原因有三：第一，模型能力的前沿研究仍处于"边际收益递增"阶段，停止扩展意味着在 AGI 竞赛中掉队；第二，资本市场对"更大的模型"持续给予溢价，估值压力不允许减速；第三，工程界已经发现了一条绕过数据墙的路径——让模型自己生成训练数据。

1.2.3 "模型作为数据来源"的范式跃迁

把模型当作数据来源的想法并不新鲜。在计算机视觉领域，GAN（生成对抗网络）从 2014 年起就被用作合成图像源。但在自然语言处理领域，这条路径长期被一种禁忌笼罩："用模型生成的数据训练模型，会导致灾难性遗忘和模式坍缩"（catastrophic forgetting and mode collapse）。

这一禁忌在 2022—2024 年间被打破，标志是三篇关键论文：

1. Self-Instruct（Wang et al., 2022, 2023）：仅用 175 个种子指令，就让一个 6B 模型自举产生了 52K 条高质量指令数据，并在指令遵循能力上超过了原始监督微调版本。 2. RLHF 的对抗式数据生成（Bai et al., 2022, Constitutional AI）：Anthropic 在训练 Constitutional AI 时使用模型自身生成"违反宪法原则"的样本，然后让同一模型基于宪法进行修订，从而构造出用于 RLHF 的偏好对。这是一种自我对抗式的合成数据生成范式。 3. Phi 系列小模型（Gunasekar et al., 2023, Microsoft Research）：用 GPT-3.5 生成的"教科书级"合成数据训练 1.3B 模型，在多个基准上超过了用真实数据训练的 7B 模型。这是合成数据第一次被严肃证明可以"以小博大"。

这三篇论文的共同点是：它们都在公开层面接受了一个此前讳莫如深的假设——合成数据不仅是权宜之计，而且是下一代模型能力跃迁的引擎。

---

1.3 互联网数据的"古登堡衰减"

1.3.1 一个被忽视的质量问题

数据墙的研究者往往把焦点放在"数据量"上，但事实上，真正的危机是数据质量的退化。我们把这种现象称为 "古登堡衰减"（Gutenberg Decay）：随着时间推移，公开互联网数据的"信息密度"（information density, 即单位 token 中所含的高价值知识比例）在持续下降，而"噪音密度"在持续上升。

这个概念借鉴了通信理论中的"信道衰减"模型。古登堡衰减并不否认数据总量的增长，而是说：新增数据中高质量样本的占比正在快速下滑。我们可以用一个简化的数学表达来描述它：

$$Q_{\text{eff}}(t) = \int_{0}^{t} q(\tau) \cdot r(\tau) \, d\tau$$

其中 $q(\tau)$ 是 $\tau$ 时刻新增数据的平均质量分数，$r(\tau)$ 是 $\tau$ 时刻新增数据相对于历史总量的比例。如果 $q(\tau)$ 单调递减，那么即使 $r(\tau)$ 单调递增，$Q_{\text{eff}}(t)$ 的增长也会越来越慢——并在某个临界点之后开始下降。

1.3.2 从 Common Crawl 到 Dolma：质量退化的时间序列

为了把"古登堡衰减"具象化，我们以主流公开数据集的时间序列为例做一次纵向对比。需要说明的是，以下数据综合自各数据集的官方论文、独立学术分析（如 EleutherAI 的 Evaluation Harness、TogetherAI 的 RedPajama 数据集报告等）以及 2023—2024 年公开的行业评测：

| 数据集 | 年份 | 原始体积 | 清洗后可用率 | Token 重复率 | 长尾领域覆盖度（人工评估） | |---|---|---|---|---|---| | Common Crawl 2019 | 2019 | ~1.0 PB | ~3.2% | ~6% | 低 | | C4（基于 CC 2019） | 2020 | ~750 GB | ~85%（已被清洗） | ~4% | 中 | | The Pile | 2020 | ~825 GB | ~95% | ~5% | 高 | | RedPajama-1T | 2023 | ~1.2 TB | ~75% | ~11% | 中 | | Dolma（AI2） | 2024 | ~3 TB | ~70% | ~13% | 中 | | RefinedWeb | 2023 | ~1.5 TB | ~80% | ~8% | 中 |

这张表格揭示了一个清晰的趋势：从 2019 到 2024，原始数据体积增长约 3 倍，但清洗后的可用率从 85% 左右下降到 70%—75%，token 重复率从 4%—6% 上升到 13% 左右。这意味着，每获得 1 个可用的"高质量 token"，需要付出的实际爬取成本和数据清洗算力都在持续上升。

更严峻的是长尾覆盖度问题。AI2 在 Dolma 论文中坦承：尽管他们的数据集覆盖了 200 多个域名，但其中真正能贡献"专家级知识"的样本（如工程图纸、法律判例、罕见病理学文献）不足 0.5%。0.5% 的样本，决定了一个模型在专业领域是否真正可用。在传统自然语料供给模式下，这 0.5% 的增长几乎完全停滞——专业文献的产出受限于真实世界的专家工作节奏，与互联网语料的指数增长完全脱钩。

1.3.3 "脏数据污染"：模型训练的反身性陷阱

古登堡衰减还有一个不常被讨论的副作用：当上一代模型生成的合成文本被上传到互联网，下一代爬取到的语料就会包含大量"AI 生成内容"。这种现象被称为 "model collapse"（模型坍缩）或更形象的说法叫 "脏数据污染"（data contamination）。

Shumailov et al. 在 2023 年的 Nature 论文 *AI models collapse when trained on recursively generated data* 中通过数学证明：当训练数据中合成样本的比例超过某一阈值（实验估计约 30%—40%）时，模型的输出分布会向原始分布的几何中心坍缩，导致多样性、罕见事件覆盖率、长尾能力全面退化。

这一发现曾被部分研究者解读为"合成数据的死刑判决"，但实际产业演化给出了完全相反的答案：产业界很快学会了"选择性合成"——即在受控环境下、用经过验证的生成策略、产出可追溯的合成数据，并主动避开未受控的网络回流数据。这正是 2024 年开始流行的 "synthetic data garden"（合成数据花园）概念的起源——合成数据必须被"种"在干净的隔离环境里，而不是从公共互联网"采集"。

---

1.4 标注成本的极端化：长尾任务的经济学

1.4.1 从 0.01 美元到 5,000 美元：成本曲线的非线性

在 2018 年的 AI 数据供应链中，"标注"是整个产业链上利润率最薄的环节。Amazon Mechanical Turk 上典型的图像分类标注任务，单价只有 0.01—0.05 美元；文本情感标注稍贵一些，约 0.05—0.10 美元。这种定价反映了一个朴素的市场均衡：对于简单感知任务，标注是近乎丰裕的劳动力商品。

但从 2022 年开始，标注成本曲线开始呈现明显的非线性抬升。我们把这种现象称为 "长尾标注经济学"（Long-Tail Annotation Economics）。其核心特征是：任务的难度、稀缺性和对标注员能力的要求不再服从正态分布，而是服从帕累托分布——少数极端任务的成本占据了总标注预算的绝大部分。

以下是 2023—2024 年公开标注市场上观察到的几个极端案例：

1. 医疗影像：标注一个罕见肺部肿瘤的三维分割，需要经过放射科住院医师培训的标注员，平均耗时 4—8 小时。**单样本人工成本约 800—1,200 美