Why Data Is the New Oil (and Why It's Running Out) / 为什么数据是新的石油（而且正在耗尽）

数据三难困境：当规模、质量、多样性无法兼得

先把一个不那么好听的事实摆在桌上：根据 Epoch AI 在 2022 年和 2024 年先后发表的研究，"Will We Run Out of Data?" 以及后续修订版，人类历史上累积的高质量文本数据——维基百科、学术论文、经过编辑校对的高质量网页、经典书籍——大约在 2024 到 2032 年之间会被大模型训练消耗殆尽。这并不意味着互联网整体"没有文字了"，而是意味着那些对模型真正有用的、信号密度足够高的文本正在边际归零。再喂十倍的网页爬虫，并不能让 GPT-5 比 GPT-4 强十倍，问题不在算力，不在架构，而在数据本身。

于是我们撞上了 AI 训练里那个古老而顽固的数据三难困境（Data Trilemma）：规模（Scale）、质量（Quality）、多样性（Diversity）三者无法同时兼得。

• **规模**：模型容量越来越大，训练 token 从 GPT-3 的 300B 到传闻中 GPT-4 的 13T，再到 Llama 3 训练时的 15T+。每翻一倍参数，就需要大致同比例甚至更多的数据来"喂饱"。
• **质量**：脏数据会污染模型——Reddit 的口水帖、SEO 农场、机器生成的垃圾内容都被包进了 Common Crawl。你以为你在训练语言模型，其实你在训练它学会"复读废话"。
• **多样性**：模型要能写代码、做数学、聊哲学、谈医疗。每个领域的数据分布都不一样，长尾分布极度不均。1000 万篇法律文书并不等于模型"懂法律"，它只懂"法律文本的统计模式"。

这三个需求互相挤压：上规模容易掺进噪声，提质量就会砍掉多样性，要多样性又必须接受低质量。用一句老话讲，这是一道三角形的题，最多只能取两条边。

```mermaid flowchart TD A[数据三难困境] --> B[规模 Scale] A --> C[质量 Quality] A --> D[多样性 Diversity] B -.冲突.-> C C -.冲突.-> D D -.冲突.-> B E[真实数据池<br/>正在枯竭] --> A A --> F[数据引擎 Data Engine] F --> G[干净种子数据 Seed] F --> H[智能合成器 Synthesizer] G --> I[无限合成数据] H --> I I --> J[突破三难困境] ```

这张图想表达的是：传统范式从"真实数据池"出发撞上三难困境；而数据引擎范式（Data Engine）通过把"种子数据 + 智能合成器"作为起点，绕开了枯竭问题，把三难变成三赢。这不是魔法，是接下来我们要详细论证的范式转移。

Web 数据的枯竭曲线：边际信息正在归零

很多人对"数据枯竭"的第一反应是困惑——互联网每天产生那么多内容，怎么会不够？这里需要一个关键的区分：总字数（Bytes）和有效信息（Useful Information）是两回事。

Common Crawl 是当前几乎所有大模型预训练的"地基"——它每月抓取约 200-300TB 的网页原始数据。但学术界和工业界早已注意到一个尴尬的事实：Common Crawl 里的高质量内容比例长期在 3% 到 7% 之间徘徊。剩下的要么是机器生成的 SEO 内容，要么是模板化的产品页，要么是无限滚动的列表页。你把一个 100GB 的 Common Crawl 文件扔进去做 deduplication 和 quality filtering，最后能用的干净 token 可能只有几 GB。

更麻烦的是边际信息含量（Marginal Information Content）的下降。训练数据规模遵循一个大致规律：模型能力会随着数据量提升，但提升的速率是递减的。前 1T token 教会模型"语法是什么"，接下来 5T 教会"语义是什么"，再接下来 20T 教会"世界知识"，但每一阶段所需要的 token 增长是指数级的。这和人类学习很像——学会一门语言只要几千小时，成为专家需要一万小时，要成为世界级大师则需要十万小时，但你的时间总量是有限的。

把这两个现象叠加起来，我们得到的是一张相当不乐观的曲线：

1. 真实有用的新数据增速放缓（高质量内容创作者就那么多，且越来越多内容本身是 AI 生成的——这又带来了"模型吃模型屎"的问题，即 Model Collapse）。 2. 单条数据对模型的边际贡献持续递减。 3. 已使用的数据又因为隐私、版权问题被要求"删除"（right to be forgotten）。

这就是 2024 年之后整个行业开始集体转向合成数据（Synthetic Data）的根本原因。不是因为合成数据有多浪漫，而是因为真实数据的供给曲线已经被压平了。

人类标注的天花板：为什么 RLHF 正在触碰边界

说完预训练，再来看后训练。RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）是 ChatGPT 之后整个对齐领域的事实标准。它的基本假设很简单：人类标注员告诉模型什么是好回答，模型就学会给好回答。听起来天经地义，但工业实践已经把这条路的天花板摸到了。

成本曲线（Cost Curve）。根据 Scale AI、Surge AI、Labelbox 等标注平台公开的信息和行业估算，2023 年单条高质量 RLHF 标注的成本在 0.5 到 5 美元之间。一家中等规模的 AI 公司如果要做 10 万条高质量偏好对用于对齐训练，仅标注预算就是数十万到上百万美元。如果再加上多轮对话标注、推理链标注、领域专家标注（医生、律师、代码审查员），成本会指数级上升。

质量天花板（Quality Ceiling）。这里有个反直觉的事实：人类的标注一致性（Inter-Annotator Agreement）远没有大家想象的那么高。在指令遵循、创意写作、价值判断这类主观任务上，专业标注员之间的分歧率（Disagreement Rate）经常超过 20%-30%。这意味着什么？意味着你花了 50 万美元让 100 个标注员做了 10 万条偏好对，至少有 2-3 万条是"标注员之间都吵不清的"。模型在这种噪声里学到的偏好，本质上是"标注员的平均意见"，而不是"正确答案"。

规模瓶颈（Scaling Bottleneck）。RLHF 还有个隐藏问题：它不 scale。预训练可以靠 GPU 加机器线性扩展，但人类标注必须一个一个来。你不可能让 1000 万个标注员同时给同一条数据打标——标注指南需要培训、质量需要抽查、伦理需要审核。这就像一个木桶最短的那块板，预训练跑得再快，后训练都只能被拖住。

这正是 2023 年之后RLAIF（Reinforcement Learning from AI Feedback）和Constitutional AI这类方法崛起的原因。Anthropic 在 Claude 的训练中明确使用了 AI 生成的反馈来替代大量人类标注员的工作——让模型根据一套"宪法原则"互相批评、互相打分。OpenAI 的"弱到强泛化（Weak-to-Strong Generalization）"研究、DeepMind 的"Sparrow"对话系统，本质上都在回答同一个问题：当人类标注员不够用、或者不够一致时，我们能不能让模型自己当老师？

答案正在变成"Yes"。

隐私悬崖：真实数据的隐藏债务

如果上面讨论的都是"量"和"质"的问题，那接下来这一节是关于"风险"的——真实数据除了贵、除了少，还自带一笔越来越沉重的债务：法律、伦理和合规成本。

法律层面。2023 年底纽约时报诉 OpenAI 案把生成式 AI 的版权问题推到了风口浪尖。意大利数据保护局曾短暂禁用 ChatGPT。日本、欧盟、韩国陆续推出或修订 AI 专属法规。这些法律的共同指向是：未经授权使用受版权保护或含个人信息的内容训练模型，将构成侵权。这意味着公司不仅在"获取数据"时面临诉讼风险，在"已经训练好的模型"上也面临被要求"删除影响"的执行风险——欧盟 GDPR 第 17 条（被遗忘权）和正在推进的 AI Act 都赋予数据主体这种权力。

伦理层面。真实数据里天然带着偏见。训练数据里 90% 的代码示例由男性贡献，模型就会"认为"程序员默认是男性；训练数据里 70% 的医疗案例来自北美，模型就会把欧亚人种的某些症状误判。如果你是一家面向全球的 AI 产品公司，你大概率不希望你的模型在某些地区系统性歧视某些人群。但要清洗这些偏见，要么砍掉大量有用数据（损失多样性），要么花大价钱人工审核（损失规模），要么——合成一组更"公平"的数据。

代表性层面。这是最隐蔽、但可能最关键的问题。真实数据天然偏向"已经被数字化的人和事"。英文互联网的内容密度是斯瓦希里语的数万倍；发达国家城市的街景比农村多出几个数量级；科技、金融、医疗话题占主导，而农业、传统手工艺、地方性知识被严重低估。一个只在真实数据上训练的模型，本质上是当代数字化世界的平均意见，它系统性地遗忘、边缘化、压低了那些"没有被很好记录下来"的群体。

这三个层面叠加，我们可以说：真实数据不仅在物理上有限，在法律上脆弱，在伦理上还有原罪。这并不是说真实数据无用——它在 2024 年仍然是大模型训练的基石，但它作为唯一数据源的时代结束了。

顶级模型的数据策略对比：GPT-4、Claude、Gemini 在做什么

空谈无益，我们看一下 2023-2024 年三家头部实验室在数据策略上做出的真实选择。这些选择背后的差异，比任何架构论文都更能说明"数据决定胜负"。

GPT-4 / GPT-4o（OpenAI）。OpenAI 从未公开 GPT-4 的训练数据规模，但根据泄漏信息和业内估算，训练 token 在 10T-15T 之间，且明确使用了大量合成数据。一个强有力的证据是 GPT-4 在数学、代码、推理任务上的飞跃式进步——这类任务的真实人类数据规模远不足以支撑这种提升。OpenAI 在技术报告中提到"domain-specific expertise（领域专精）"和"adversarial testing via model-assisted evaluation（通过模型辅助评估进行对抗测试）"，这些都是合成数据的委婉说法。

Claude 3 / Claude 3.5（Anthropic）。Anthropic 走得更远。Claude 训练中明确采用了 Constitutional AI（宪法式 AI） 范式：用一组人类写下的"原则"（Constitution）作为评判标准，让 AI 模型互相评判、互相纠错，最终生成大量合成的偏好对。这本质上是把"人类标注员"这个环节部分替换成了"AI 标注员"。Anthropic 公开承认这种做法大幅降低了对人类标注员的依赖，并在对齐质量上达到了与纯人类反馈相当甚至更好的水平。

Gemini 1.5（Google DeepMind）。Gemini 的策略介于两者之间：它拥有 YouTube、Gmail、Google Books 等专有数据源，这是其他家难以复制的护城河。但即便如此，DeepMind 在 Gemini 1.5 的训练中也大量使用了合成数据——特别是在多模态对齐、长上下文理解、数学推理这些真实数据稀缺或噪声大的领域。Google 的优势不在于"数据更多"，而在于"数据更可控"——专有数据天然干净、可追溯、合规风险低。

把这三家放在一起看，我们能提炼出一个清晰的事实：

> 在 2024 年，没有任何一家头部实验室还在单纯依赖"爬取更多真实数据"。

数据策略已经从"how much can we scrape"转向了"how cleverly can we synthesize"。真实数据从"主菜"变成了"调料"——它依然必要，但已经不能单独撑起一桌宴席了。这是个范式级的转变，而很多二线团队还没意识到这一点。

数据引擎：一个新范式的崛起

如果真实数据从"主菜"变成了"调料"，那"主菜"是什么？答案是数据引擎（Data Engine）。

数据引擎范式的核心思想可以用一句话概括：与其去找数据，不如造数据。具体做法是：维护一个相对小但极其干净的"种子数据集（Seed Dataset）"，再训练一个"合成器（Synthesizer）"——通常是一个中等规模的语言模型或者基于规则的生成器——它能在种子的基础上，按照特定需求生成大规模、高质量、多样化的合成数据。

这个范式并不是凭空冒出来的。它的早期雏形包括：

• **Self-Instruct**（Wang et al., 2022）：用 GPT-3 自身的输出来生成指令微调数据，证明了模型可以"自学"。
• **Evol-Instruct / WizardLM**（Xu et al., 2023）：在 Self-Instruct 基础上加入"进化"机制，让指令从简单到复杂演化。
• **Phi 系列模型**（Microsoft Research）：从 Phi-1 到 Phi-3，每一代都重度依赖"教科书级合成数据"，即让 GPT-4 写出高质量的教学内容，作为小模型训练的素材。
• **Cosmopedia**（HuggingFace）：完全合成的"教科书"数据集，涵盖从小学到研究生级别的虚构教材。

这些工作的共同启示是：合成的数据如果设计得当，可以比真实数据更优质——因为我们能精确控制它的难度、风格、覆盖度、噪声水平。真实数据是"有什么用什么"，合成数据是"要什么造什么"。这就是数据引擎范式的根本诱惑。

但数据引擎不是万能药。它的核心挑战是"分布坍缩（Distribution Collapse）"或"模型自噬（Model Autophagy Disorder, MAD）"：如果合成器和评估器都来自同一个模型家族，合成数据会逐渐丧失多样性，最终变成同义反复。一个朴素的判断标准是：合成数据是否带来了真实数据中没有的新信息？如果是，那它在贡献；如果不是，那它只是在"稀释"训练信号。

实操清单：如何判断你的业务是否需要数据引擎？

| 步骤 | 问题 | 判断标准 | |------|------|----------| | 1. 识别瓶颈 | 你的数据瓶颈是规模、质量还是多样性？ | 看一张简单的"供给-需求图"，横轴是数据量，纵轴是数据质量，把你的真实数据画上去 | | 2. 审计来源 | 你的数据来源是否正在枯竭或受限？ | 看一下过去 6-12 个月的数据增长曲线；如果增长放缓或停滞，进入步骤 3 | | 3. 评估成本 | 继续扩大真实数据获取的成本曲线如何？ | 估算下一年的数据获取成本；如果超过你训练预算的 30%，合成数据值得考虑 | | 4. 试运行 | 用一个小规模合成数据 pilot 跑一下 | 1000 条合成指令 vs 1000 条真实指令，对比模型表现差异 | | 5. 设计引擎 | 如果 pilot 有效，设计完整的数据引擎 | 种子集（数千条高质量）+ 合成器（专用模型或提示工程）+ 评估器（质量过滤） |

这张清单不是万能公式，但它能给团队一个起点。数据引擎不是替代真实数据，而是补充和放大真实数据。一个典型的混合方案是：种子来自真实数据，主体来自合成数据，再混入 10%-20% 的真实数据作为"校准锚点"。

本章小结

本章围绕一个核心论点展开：数据是新的石油，但它正在从"开采时代"进入"炼化时代"。我们具体讨论了：

1. 数据三难困境：规模、质量、多样性互相挤压，传统范式最多只能取两条边。 2. Web 数据枯竭：高质量真实数据的边际信息含量正在归零，2024-2032 年间将触及天花板。 3. 人类标注瓶颈：RLHF 的成本、规模和一致性都在物理上限制了后训练的扩展。 4. 真实数据的隐藏债务：法律风险、伦理偏见、代表性失衡让真实数据成为一项"越来越贵"的资产。 5. 顶级模型的转向：GPT-4、Claude、Gemini 都已经把合成数据作为训练的核心组件之一，真实数据从"主菜"变成"调料"。 6. 数据引擎范式：用一个小而干净的种子 + 一个聪明的合成器，构造可控、可扩展、可对齐的训练数据流。

如果我们把过去十年的大模型发展压缩成一句话，那就是：架构的边际收益正在递减，算力的边际收益也在放缓，唯一还在指数级增长的，是"聪明的合成数据"。这也是为什么我们要在第 2 章直接进入合成数据的技术深处——我们要拆解合成数据的三大流派（蒸馏、对抗、自演化），回答一个关键问题：什么样的合成器是"聪明的"合成器？