数据的饥渴：当模型吞噬了世界

1.1 数据墙的阴影：当Scaling Law撞上天花板

2024年4月，Meta发布了Llama-3的技术报告，开篇第一页就把整个行业推向了一个无法回避的判断：在405B参数规模下，他们动用了15.6万亿个token的训练数据。这一数字是Llama-1（1.4万亿token）的11倍，是GPT-3（3000亿token）的52倍。如果从2018年的BERT（训练数据约33亿token，3.3B）算起，六年时间里大模型对训练数据的胃口增长了将近500倍——而这条增长曲线，看起来丝毫没有要拐弯的意思。

但曲线之下，藏着一个被掩盖的事实：数据的供给曲线，并没有跟着模型一起起飞。

这个矛盾并非今日才有，它的根源要追溯到2022年DeepMind发表的那篇后来改变了整个行业算术的论文——Chinchilla。在那篇题为《Training Compute-Optimal Large Language Models》的论文中，Hoffmann等人用详尽的实验证明了一个违反直觉的事实：在给定算力预算的前提下，模型参数与训练token应当以约1:20的比例同步增长。换句话说，一个70B参数的模型，理论上需要1.4万亿token才能"吃饱"；一个400B参数的模型，则至少需要8万亿token。

Chinchilla一举推翻了2020年前后"参数越大越好"的盲目崇拜。从此，每一家前沿实验室的算盘都换了一种打法：与其把模型做得更大但喂不饱，不如同时把数据和模型都拉大。这听起来像是理所当然的工程建议，但它立刻引出了一个尴尬的现实问题——到哪里去找那么多高质量的token？

把这个追问再推进一步，就碰到了Epoch AI研究团队在2022年首次系统量化、并在2024年再次更新的那条"数据耗尽曲线"。他们的核心结论用一句话就可以概括：按照当前的训练消耗速率，人类历史上积累的高质量文本数据，将在大约2026年到2032年之间被耗尽。图像数据更糟——多模态模型的训练需求使得可用图像语料的"硬天花板"预计将在2030年前后到来。

这意味着两件事同时发生：模型的胃口在指数级膨胀，而供给的存量是有限的。当需求曲线和供给曲线在同一张图上画出来时，它们会在2024到2026年之间发生一次明显的交叉——这就是本书所说的"数据墙"。它不是一个遥远的理论威胁，而是一个已经在2024年下半年悄悄降临的现实约束。

```mermaid flowchart LR A[用户调用模型] --> B[产生交互日志与反馈] B --> C[筛选、清洗与标注] C --> D[训练数据集扩充] D --> E[下一代模型训练] E --> F[更强、更可靠的模型] F --> A ```

> 图表说明：上图描绘了贯穿全书的"数据飞轮"（Data Flywheel）基本结构。模型被使用得越多，产生的真实交互数据越多；这些数据被用于训练下一代模型，而更强的模型又会吸引更多用户。这是一个自我强化的循环。但请注意，本章将要论证的恰恰是：当真实数据供给撞上墙时，飞轮的初始动力来源必须从"人类历史积累"切换到"模型自己生成"——这是本书的核心张力。

为了量化这种张力，我们来看一组具体数字。截至2024年初，公网上可被合法爬取并用于商业模型训练的高质量文本，大致可以拆成以下几个来源：

| 数据来源 | 估算规模 | 用途限制 | |---------|---------|---------| | Common Crawl原始抓取 | 月均约200-300TB WARC文件 | 大量噪声，需深度清洗 | | 经过质量过滤的网页 | 约5-10T tokens | 是当前主流预训练语料的主力 | | 书籍语料（如Books3） | ~37GB / 191k本 | 版权高风险 | | GitHub代码 | ~数百GB | 许可证复杂 | | 学术论文（公开） | ~数百GB | 仅部分可商用 | | 高质量中文语料 | 估算仅数百GB | 严重不足 |

注意最后一行。英文世界虽然也面临枯竭，但至少有数万亿token的清洗后储备；而中文的高质量语料，根据多家中国大模型创业团队在2023-2024年的内部测算，严格清洗后不到1TB。这个数字与GPT-3时代的训练需求相比，仅够训练一个10B级别的模型两三轮。这不是一个抽象的数字——它直接决定了2024年之后中国大模型公司在追赶GPT-4时，必须在数据策略上做出根本性的、不同于OpenAI的选择。

这就是为什么"数据墙"不再是某个研究小组的内部警告，而是2024年后所有前沿实验室的共同敌人。它既不是算力墙（算力可以通过资本解决），也不是算法墙（算法可以通过人才迭代解决），而是一个受制于人类文明历史积累速度的物理约束。

1.2 三个真实故事：数据困境的三重面相

数据墙不是一个抽象的数学概念。它由无数个具体的、可触摸的真实困境堆叠而成。下面这三个故事，分别从供给端、法律端、领域覆盖端三个不同角度，揭示了我们如何一步步撞上这面墙。

故事一：Common Crawl的瓶颈

Common Crawl是当今所有大语言模型预训练数据的"主粮"。它的创始人Rich Skrenta从2007年开始爬取全网，每月产出一批WARC（Web ARChive）格式的原始数据，免费提供给研究者使用。到2024年，这个非营利组织的累计抓取规模已经超过数百PB。听起来，这似乎是一个取之不尽的数据金矿。

但现实远比"PB级"这个数字复杂。

2023年，几家头部公司在内部做了一次联合分析，他们用GPT-4作为分类器，对Common Crawl的一个标准月份数据（约250TB原始网页）做了精细的质量标注。结果令人沮丧：只有约12%的页面通过了"高质量内容"的阈值——这12%里，进一步还需要去除色情、暴力、广告农场、内容农场、SEO垃圾等子类别，最后能进入预训练语料库的"高质量token"，大约只剩下原始数据的4-5%。也就是说，250TB的原始网页，能贡献的有效训练数据不到12TB。

更糟糕的是，这12TB里面存在大量的重复。Dedup（去重）研究显示，即便是经过严格去重，Common Crawl的独特token量也比总token量低30-50%。换句话说，我们一直在高估数据的有效供给。

到了2024年，这个问题进一步恶化。Common Crawl的抓取增长率已经显著放缓——不是因为抓不到，而是因为大量有价值的网站开始屏蔽爬虫。Cloudflare在2023-2024年间推出了"AI爬虫拦截"作为标准服务，Reddit、X（原Twitter）、Stack Overflow、CNN、纽约时报等大型内容平台先后修改了robots.txt或直接关闭了公开爬取通道。Reddit的数据授权价格一度被爆出每年数千万美元——这还只是Reddit一家。

到这里，故事的内核就清晰了：Common Crawl不只是"技术瓶颈"，更是一个政治经济学的瓶颈。人类最有价值的那部分内容，正在以法律和商业合同的形式，被逐个从公共领域剥离出去。

故事二：Getty Images的诉讼与版权的地雷

2023年1月，全球最大的商业图库之一Getty Images在英国高等法院和美国特拉华州地方法院，同时对Stability AI提起了诉讼。起诉书指控Stability AI未经授权，使用了Getty超过1200万张受版权保护的图片来训练其Stable Diffusion模型。诉讼的关键证据触目惊心：在用户用Stable Diffusion生成的某些图片中，竟然原封不动地复现了Getty Images的水印——这几乎是模型"记忆"了训练数据的铁证。

这不是一个孤例。在Getty之后，一连串版权诉讼接踵而至：

• **2023年7月**，美国作家协会（Authors Guild）代表包括John Grisham、George R.R. Martin、Jonathan Franzen在内的17位知名作家，对OpenAI发起集体诉讼；
• **2023年12月**，纽约时报起诉OpenAI和Microsoft，指控其模型大规模复制了该报数百万篇文章；
• **2024年**，环球音乐、ABKCO等主要唱片公司起诉Anthropic，指控Claude通过歌词进行了"系统性盗版"。

每一场诉讼都在传递同一个信号：版权法、知识产权法和AI训练之间的关系，远未定型。在欧盟，2024年通过的AI Act明确要求训练数据必须"充分尊重版权法"。在日本和韩国，相关判例也倾向于保护原作者。在美国，虽然"合理使用"（Fair Use）的范围仍有争议，但多个地方法院的初步裁决已经偏向于"不能无限制使用版权材料训练商业模型"。

这意味着什么？意味着即使是Common Crawl里那些"合法可爬"的内容，也往往并非"合法可用"。许多学术论文、科技博客、新闻报道在robots.txt上没有禁止爬取，但它们的版权状态使得直接用于商业模型训练存在重大法律风险。在2024年之后，一个负责任的数据团队必须对每一个GB的语料进行版权溯源——这在过去是不可想象的运营成本。

故事三：一个中国创业团队发现"中文只剩几百GB"的故事

2023年初秋，北京海淀，一家专注于中文大模型的创业公司"智语科技"（此处为化名）正在为他们的100亿参数基座模型做数据准备。技术负责人林昊（化名）此前在Google Research工作，习惯于英文学术界的语料规模。他原以为中文世界也有类似的"万亿token俱乐部"，结果一做盘点就发现了问题。

他们内部把数据分成三类：金标准语料（高质量书籍、学术论文、经过专业编辑的内容）、银标准语料（高质量新闻、维基百科、知乎高赞答案）、铜标准语料（一般网页内容、经过去重和清洗的论坛和博客）。

林昊团队花了三个月时间，把公开可获取的中文语料全部过了一遍。结论是：

• **金标准**：经过版权清洗后，公开可用的中文高质量内容**不到100GB**——这还没有包括那些有授权争议的武侠小说、网文、专业教材；
• **银标准**：维基百科中文版（约2GB）、高质量新闻（央媒授权可用的约几十GB）、知乎精选（脱敏后约几十GB），加在一起**不到500GB**；
• **铜标准**：这部分与Common Crawl中文部分重叠，去重清洗后**约1-2TB**，但质量参差不齐。

合计下来，整个中文世界的"预训练合格语料"，按token计算大约在1-2万亿。这个数字看似不小，但相比Llama-3的15.6万亿token需求，仅够训练两三轮。更关键的是，这1-2万亿里相当一部分是Common Crawl中文网页——噪声大、重复度高、且与高质量英文语料相比，覆盖的领域明显狭窄（缺乏长尾学术资源、特定行业知识、深度访谈等）。

林昊的团队做出了一个痛苦的判断：要追赶GPT-4级别，仅靠公开中文数据是不可能的。要么转向合成数据（让大模型自己造数据），要么转向私域数据采购（用商业授权的方式从出版社、专业机构获取），要么走多语种混合训练（用英文高质量数据反哺中文）。三条路都不是免费的午餐——这也是为什么2024年之后，中国大模型公司在数据策略上呈现出明显的分化。

这三个故事揭示的，是数据困境的三个不同切面：可获得性（Common Crawl的内容在逃离）、合法性（版权诉讼在地毯式扫荡）、领域覆盖（高质量中文语料结构性短缺）。三者叠加，构成了2024年之后全球AI产业共同面对的硬约束。

1.3 合成数据的崛起：从边缘实验到战略核心

既然真实数据的增长撞上了墙，剩下的逻辑链条就只有一条路——让模型自己造数据。这条路在过去三年里，从学术论文里的边缘尝试，变成了MIT Technology Review、Sequoia Capital、a16z等顶级机构和媒体在2023-2024年间同时列为头号趋势的关键技术。

但"合成数据"这个词本身在2024年已经变得过于宽泛，以至于如果不加区分地讨论，容易产生严重的认知混乱。我们需要对它做一次严肃的拆解。

第一种：自举式合成数据（Self-Generation）

这是最古老的合成数据范式，可以追溯到2017年Google Brain关于Knowledge Distillation的工作。其核心思想是：让一个已经训练好的"教师模型"为输入生成输出，然后用这些输出训练"学生模型"。到了大模型时代，这个范式被Self-Instruct（Wang et al., 2022）发扬光大——研究者用175个种子任务，让GPT-3自己生成了5.2万条指令数据，然后用这些数据对GPT-3本身进行微调，得到的模型在多项基准上甚至超过了原始GPT-3。

这条路径最大的优点是完全摆脱对人类标注的依赖，但缺点也同样致命：教师模型的能力上限决定了学生模型的能力上限；模型会"放大"自己的偏见；并且在没有外部反馈的情况下，模型生成的内容会逐渐坍缩到一个狭窄的高概率分布——这个现象后来被称作"模式坍缩"（mode collapse）或"模型崩溃"（model collapse），是2023-2024年学界研究最多的合成数据陷阱之一。

第二种：回译与数据增强式合成（Back-Translation & Augmentation）

这是更接近传统NLP的路径。在机器翻译时代，回译（back-translation：用目标语言翻译源语言以扩充训练对）就是标配技术。Google Translate在2018年后的巨大突破，正是回译合成数据的功劳。在大模型时代，这种思想被扩展为更广泛的"数据增强"——对真实数据进行改写、释义、风格转换来扩充样本。

Microsoft Phi系列是这条路径的代表。2023年的论文《Textbooks Are All You Need》明确提出：用大模型从少量"教科书级"种子内容生成大量高质量合成的"教材章节"，再用这些教材训练一个小模型。结果是7B参数的Phi-1在HumanEval上的得分超过了GPT-3.5。后续的Phi-2（2.7B）、Phi-3（mini 3.8B / small 7B / medium 14B）延续了这一路线，证明"合成高质量小数据集"可以击败"真实海量低质量数据集"。

第三种：批判-修正式合成（Constitutional AI & RLAIF）

这是Anthropic在2022年提出的"Constitutional AI"路线，后来被业界广泛归类为RLAIF（Reinforcement Learning from AI Feedback）。其核心思想是：让模型自己扮演"批评者"和"修改者"——先生成一个回答，再用一个固定的"宪法"（一组价值观原则）对回答进行自我批评，最后根据批评重写回答。整个过程不需要人类标注员参与。

这条路径的好处是可以在价值观对齐、拒绝有害请求等任务上以极低的成本获得大量训练信号。坏处是：批评标准本身需要人工设计；模型在某些复杂推理任务上无法准确评判自己的输出；这条路径更适合对齐阶段，而不是能力提升阶段。

第四种：领域环境交互式合成（Environment-Generated）

这是最被低估但可能最有前景的一类。代表性工作包括：

• **AlphaGo Zero**通过自我对弈产生的棋局数据；
• **AlphaProof**在Lean定理证明环境中的形式化证明数据；
• **代码模型在沙箱执行环境中的运行结果**——模型生成代码，真实编译执行，根据执行成功/失败/输出得到监督信号；
• **机器人模型在仿真环境中的交互轨迹**——如NVIDIA的Isaac Sim、Google DeepMind的Genie 2。

这类数据的本质特征是：合成数据的质量由外部真实环境作为锚点，因此避免了模式坍缩。代码执行结果、定理证明正确性、机器人是否完成抓取——这些都是客观的、不依赖于模型自我评判的反馈信号。

NVIDIA在2024年发布的Nemotron-4 340B是这条路径的集大成者：98%的训练数据是合成的，但其中大量来自"代码执行结果"、"数学问题求解"、"工具调用结果"等环境锚定的合成数据。在多项基准测试上，Nemotron-4 340B甚至超过了同期发布的Llama-3 70B。

到这里，我们可以理解为什么合成数据在2023-2024年突然"出圈"了：它不是因为某个聪明人发明了新算法，而是因为真实数据的硬约束已经足够严重。Sequoia在2024年初的AI 2024报告中写道：

> "2024年，合成数据不再是'是否使用'的问题，而是'如何使用'的问题。那些能在合成数据上建立质量护城河的公司，将在2025-2026年的模型竞争中占据结构性优势。"

MIT Technology Review 2024年的封面文章同样给出了几乎相同的判断。他们引用了Meta首席AI科学家Yann LeCun的著名论断："未来五年内，没有任何一家公司能在不依赖合成数据的情况下训练出前沿模型。"

但合成数据绝非万能解药。它有三个尚未解决的硬问题：

1. 质量评估困难：合成数据的质量评估本身就需要人类或强模型参与，这构成了一个递归依赖——用谁来评判合成数据？ 2. 分布偏移：合成数据往往过度集中在模型的"舒适区"，缺乏真实数据中的长尾分布； 3. 模式坍缩：在多代迭代后，模型的输出会逐渐丧失多样性，最终退化为重复的、安全的、但毫无信息量的废话。

这三个问题，恰恰是"数据飞轮"这个系统性方案要解决的核心挑战。

1.4 数据飞轮：让数据自我繁衍的系统设计

到这里，本章已经把全书的张力建立得足够清晰：模型越聪明，越需要更多数据；数据越稀缺，模型越依赖合成；而合成数据本身又面临质量、分布和坍缩的挑战。这看起来像一个无解的循环——但如果我们把视角从单次训练拉长到一个持续迭代的系统，就会发现一个被业界反复验证过的强大范式：数据飞轮（Data Flywheel）。

数据飞轮不是一个新概念。它的思想根源可以追溯到20世纪90年代的管理学经典——Jim Collins在《Good to Great》中描述的"飞轮效应"：一个良性循环一旦开始转动，每一圈的转动都会让下一圈更容易。但在AI语境下，数据飞轮有一个非常具体的定义：

> 数据飞轮是一个由"用户使用 → 产生数据 → 训练更好模型 → 吸引更多用户"构成的自我强化系统。

它的核心洞察是：数据不是静态资源，而是可以自我繁衍的循环系统。如果设计得当，每一次