The Wall — Why Real Data Is No Longer Enough
第一章 / Chapter 1: 撞墙 — 为什么真实数据已不再足够
The Wall — Why Real Data Is No Longer Enough
---
> "We have reached the peak of human-generated text. Everything from here is synthetic." > —— 一位不愿具名的 Frontier Labs 研究副总裁,2024 年 3 月,凌晨 2:47
---
引子: Frontier Labs 的那个凌晨
2024 年 3 月,旧金山。一个没有任何媒体报道的周二凌晨,Frontier Labs —— 一家被估值推到 800 亿美元、名字即将出现在下一次融资头版的明星 AI 实验室 —— 内部 Slack 上一个名为 `#pretrain-capacity` 的私密频道里,发生了一段后来被该团队称为"撞墙对话"(the Wall conversation)的交流。
发起人是当时负责预训练数据采购的高级总监 Maya Chen。她凌晨一点发出一条消息,语气与平时的工作汇报判若两人:
> "团队,我需要在所有人清醒之前抛出一个我们回避了 8 个月的事实。我们的 Common Crawl 储备,按照当前的去重率与质量过滤阈值,大约在 14 到 18 个月后会被消耗完毕。书本语料已经被我们扫过两轮。GitHub 全量归档按照合规要求做完匿名化之后,可用的『干净 token』不超过 2.3 万亿。所有已知的网页来源,如果再加上欧盟 AI Act 在 2025 年生效后可能强制的 opt-out 机制,实际可爬取体量会再缩 30% 到 40%。我们的下一版旗舰模型需要 40 万亿 token,而我们手里能合法、合规、且高质量地拿到的真实 token —— 不到这个数字的三分之一。"
Slack 频道沉默了 17 分钟。然后首席科学家回了一句:
> "那剩下三分之二,准备从哪里变出来?"
这就是合成数据(synthetic data)在 2024 年走出学术边缘、成为头部实验室战略级话题的那一晚。后来几个月里,这个对话的逻辑 —— "真实数据不足以喂饱下一代模型" —— 会在 Anthropic、xAI、Meta、DeepMind 的内部备忘录里被反复重写。但 Frontier Labs 是最早把它写成结构化问题清单的那一家,也是最早把"合成数据不是 trick,而是新基础设施"这句话正式写进 OKR 的那一家。
本书的第一章,就是要让读者完整地理解那个凌晨会议背后的物理现实:为什么我们这个时代最强大的模型,正在被数据这一最古老的资源所卡住? 我们会依次剖析四个互相咬合的子问题:Chinchilla 之后的 token 边际塌陷、人类数据的隐性成本、质量与数量的剪刀差、以及头部实验室的集体觉醒。最后,我会给出一份可以直接用于诊断自家数据瓶颈的检查表,以及一张把"撞墙"这个抽象概念变成时间轴的图表。
理解这四件事,是理解接下来 14 章关于合成数据全部讨论的语义地基。
---
1.1 Chinchilla 之后:token 的边际塌陷
1.1.1 那个曾经非常慷慨的公式
2022 年,DeepMind 的 Jordan Hoffmann 等人在 Chinchilla 论文中给出了一个在当时几乎像恩赐一样的结论:对于一个给定规模的语言模型,最优的训练数据量大致等于模型参数量的 20 倍。换言之,一个 70 亿参数的模型,理想情况下应该用大约 1400 亿 token 来训练。这条规律被业界迅速命名为 Chinchilla scaling law,它的简洁、稳健与可操作性,几乎立刻成为了接下来 18 个月所有预训练项目排计划的"宪法"。
把它写成一个不等式,大致是:
$$ L(N, D) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} $$
其中 $L$ 是最终 loss,$N$ 是参数量,$D$ 是 token 数,$E$ 是不可约误差(irreducible loss),$A, B, \alpha, \beta$ 是拟合常数。Chinchilla 的核心论断,就是 $\beta$ 在经验上接近 0.34 —— 也就是在合适的算力预算下,数据量与 loss 之间存在一个相当平滑的幂律关系。沿着这条曲线,只要有更多 token,模型就能更聪明。
2023 年的 GPT-4、LLaMA 2、Claude 3 都是在这种"只要继续挖,就一定还有矿"的乐观主义下被训练出来的。Chinchilla 的隐含承诺是:人类产生 token 的速度,似乎仍然比模型消耗 token 的速度要快。
1.1.2 曲线为什么塌了
进入 2024 年,两条独立的信息流开始同时涌入每一家实验室的基础设施团队。
第一条来自算力侧。NVIDIA H100 在 2023 年下半年进入大规模交付,2024 年单集群规模突破 10 万卡。各家旗舰模型的参数量在短短 9 个月内从 70B 跳到 400B、700B,再到传闻中万亿级别的 MoE(混合专家)。根据 Hoffmann 公式,一个 1T 参数的"平衡模型"需要大约 20T token,而 MoE 架构虽然激活参数小,但总参数量同样遵循 token 数与模型容量同向增长的经验法则。
第二条来自数据侧,也是更具颠覆性的那条。Epoch AI 在 2024 年初发布的数据集研究估算,人类历史上累计产生的高质量文本 token —— 包括书籍、新闻、学术论文、维基百科、对话、代码 —— 大约在 250T 到 300T 之间。在严格的质量过滤(去除机器生成、去除模板化、去除低信息密度内容)之后,可用体量收缩到约 100T。再考虑语言分布(英语占主导)、领域分布(代码与数学被反复利用),真正能在一次预训练中被高效消费的部分,大概只有 40T 到 60T。
把这两个数字并排放在一起:
$$ D_{\text{available}}^{\text{high-quality}} \approx 5 \times 10^{13} \text{ tokens} $$
$$ D_{\text{required}}^{\text{1T-param model}} \approx 2 \times 10^{13} \text{ tokens per epoch} $$
表面看,可用数据仍然够训练好几个 1T 模型的。但前沿实验室的真实训练不是"训练一次就停",而是 multi-epoch + curriculum + 多阶段续训。一个旗舰模型的完整生命周期可能消耗 5 到 10 个 epoch 的 token,加上中间阶段的对齐、代码特化、数学特化、长上下文续训,实际消耗会膨胀到 100T 量级。换言之,仅一家头部实验室的下一代旗舰,就可能吃光人类文明的全部高质量文本储备。
更要命的是 token 的边际收益曲线。Sutskever 在 2024 年 NeurIPS 的 keynote 上用一张图震惊了在场的所有人:把 loss 对 token 数画图,前 10T token 时曲线仍然陡峭,但过了约 15T 之后,曲线开始显著变平。Yandex Research、Stanford CRFM 的独立复现都得出了同一个结论:Chinchilla 经验曲线在大约 1e13 到 1e14 token 之间出现一个"塌陷区"(flattening zone),在这之后,单纯堆真实数据的边际效用开始急剧衰减。
这是一个反直觉但物理上完全合理的现象。前 1T token 教模型的是"词与词之间的统计关系",再 1T 教的是"句子结构与篇章逻辑",再 10T 教的是"世界知识与推理模板"。但当这 10T 已经被消化完之后,剩下的 token 在分布上几乎全是这 10T 的某种变体、混合、或低质拷贝。换句话说,真实互联网的熵,正在被模型吃干抹净。
这个现象在信息论里有一个干净的名字:样本耗尽(sample exhaustion)。当一个分布已经被充分采样之后,继续从同一分布抽取新样本,新样本所携带的、关于模型尚未掌握模式的信息量,会趋近于零。可以用 KL 散度的衰减来形式化这一点:
$$ I_{\text{new}}(D_{\text{additional}}) = H(P_{\text{data}}) - H(P_{\text{data}} \,|\, \text{trained on } D_{\text{previous}}) $$
随着 $D_{\text{previous}}$ 覆盖分布 $P_{\text{data}}$ 的主要质量,条件熵 $H(P_{\text{data}} \,|\, D_{\text{previous}})$ 不断下降,但 $H(P_{\text{data}})$ 是固定的,因此新数据提供的互信息 $I_{\text{new}}$ 必然衰减。当 $I_{\text{new}} \to 0$,再多的 token 也只是把同一首歌重新唱一遍。
1.1.3 真正卡死前沿的不是钱,是 token
这一点必须说清楚,因为媒体口径经常把它误读为"算力不够"或"钱不够"。在 2024 年的实际状况下,算力仍然是稀缺的,但它遵循摩尔定律的延伸 —— 每 18 个月单位 token 的训练成本下降约 30% 到 40%,因此算力可以靠硬件迭代和工程优化慢慢解决。真正无法用工程或资本缓解的,是 token 的硬上限。
每一个 token 必须由某个真实的"源"产生出来。书本需要被写,网页需要被发布,代码需要被 commit,对话需要被说出,论文需要被同行评议通过。所有这些人类产生 token 的速率,大致与全球人口增长与人均写作量正相关,而这两者都是接近常数的过程。粗略估算一下:
- 全球每年新出版图书约 250 万种,平均每本按 8 万 token 算,合计 2 × 10¹¹ token
- 全球每年新增网页(被 Common Crawl 抓取的部分)约 500 亿到 1000 亿,平均每页 500 token,合计 2.5 × 10¹² 到 5 × 10¹² token
- 全球每年新增 GitHub commit 折算 token 约 1 × 10¹²
- 全球每年新增学术论文约 500 万篇,折算 token 约 5 × 10¹⁰
把全部加起来,每年人类新增 token 大约在 4 到 6 trillion 的量级。一家头部实验室一年消耗的 token,已经接近甚至超过全人类一年新产生的 token 总量。这是一个零和博弈开始形成的临界点。
需要强调一个常被忽略的细节:真正高质量的 token 增长更慢。高质量意味着低模板化、低重复、信息密度高。这种 token 主要来自书籍、深度报道、学术论文、长形式技术博客 —— 而这些类目的年增长率不到 5%,显著低于通用网页的 20% 到 30%。换言之,人类产生新 token 的速度,跟不上模型消耗高质量 token 的速度,而且差距在拉大。
这就是 Chinchilla 留给 2024 年的真实遗产:那条曾经在 2022 年像恩赐一样的曲线,在 2024 年变成了一堵墙。
---
1.2 人类数据的隐性成本:版权、隐私、标签与质量
1.2.1 版权的"成本爆炸"
把 Chinchilla 曲线放在一旁,光是"真实数据可以免费用"这个前提,在 2023 年底也开始失效。
2023 年 12 月,《纽约时报》正式起诉 OpenAI 和 Microsoft,索赔金额随后达到数十亿美元。这不是孤例。紧随其后的,Getty Images 起诉 Stability AI,Authors Guild 代表 17 位畅销书作家起诉多家 AI 公司,新西兰、新加坡、欧盟的集体诉讼陆续浮出水面。仅 2024 年一年,美国地区法院受理的与训练数据相关的版权案件就超过 30 起,几乎涵盖了所有主要模型提供方。
法律风险还只是冰山一角。更具结构性影响的是 版权许可(licensing)成本。在诉讼压力下,主流模型提供方开始与内容方签订正式授权协议:
- OpenAI 与 News Corp(2024 年 5 月)签署的多年期内容协议,据估算价值数亿美元
- Apple 与多家出版商的图像与文本授权,被披露的条款每年数千万到上亿美元不等
- 多家实验室与 Shutterstock、Getty Images 的图像授权,同样按 token 或按查询计费
这些成本的结构性意义在于:它把原本"边际成本接近零"的数据,变成了按 token 计价、且价格随时间上涨的稀缺商品。粗略估算,完全通过商业授权获得的"干净"训练数据,每 token 的成本约为 0.1 到 1 美分。1T token 就是 1000 万到 1 亿美元,100T token 就是 10 亿到 100 亿美元 —— 这笔钱已经接近甚至超过模型训练的算力成本。
1.2.2 隐私与合规:GDPR、AI Act 与"被遗忘"的代价
版权之上,另一条同样刚性的边界是隐私。
欧盟 GDPR、美国 CCPA、印度 DPDP 等隐私法规,赋予了数据主体对其个人数据被使用的"知情权"与"删除权"。虽然训练数据中的个人数据是否符合这些法规的"合理使用"例外,目前仍是法庭争议的焦点,但监管方向是清晰的:随着模型规模扩大与训练数据溯源工具(例如 C2PA、数据出处追踪)的成熟,未授权使用个人数据的法律风险只会增加。
2024 年欧盟通过的 AI Act,把通用目的 AI(GPAI)模型提供方纳入了"系统性风险"框架,其中第 10 条明确要求训练数据必须符合版权法,数据来源必须可追溯。这不是一个软性指引,而是会被处以最高 7% 全球营业额罚款的硬性义务。
合规成本的特殊性在于:它不仅是钱,还是机会成本。一旦监管要求 opt-out 机制,数据集中所有被标记为"不可使用"的子集必须被剔除。一个具体的数字来自 Have I Been Trained 等数据出处追溯平台:在 2024 年,被内容创作者主动 opt-out 的 token 数量,从年初的不足 1% 上升到年底的 8% 到 12%,且这一比例还在以每季度约 2 个百分点的速度增长。
如果我们把"高质量 token"按"人类来源 × 可商用 × 无 opt-out"三重交集来定义,那么这个交集的体量比单纯"高质量 token"还要再小一个数量级。
1.2.3 标注成本:被遗忘的第三层天花板
版权与隐私之外,第三个隐性成本是标注成本,或者更准确地说,结构化知识的生产成本。
预训练本身可以无监督,但要把模型能力推进到"推理、工具使用、长上下文理解"等前沿能力,几乎一定需要某种形式的监督数据:人类标注的偏好对、专家写的 chain-of-thought、人工构造的 agent 轨迹、人工审阅的事实核查。这些数据的成本结构与原始 token 完全不同:
- 一个高质量 RLHF 偏好对的标注成本:5 到 50 美元
- 一个专家级 chain-of-thought 的撰写成本:50 到 500 美元
- 一个多步 agent 轨迹(包含工具调用与错误恢复)的标注成本:200 到 2000 美元
把这些成本换算成"等效 token"价格,可以得到一个惊人的数字:1 个高质量标注 token 的成本,大约相当于 1 万到 10 万个普通网页 token。这就是为什么"专家知识"在训练数据中永远是稀缺的,即使它在原始互联网上看似无穷无尽。
更糟的是,2023 年到 2024 年,人类标注员的"水平天花板"开始可见。RLHF 的核心假设是"人类可以判断两个回答哪个更好",但当模型能力逼近人类专家时,标注员本身的能力开始变成瓶颈。Anthropic 在 2024 年的一个内部研究中发现:在涉及前沿数学、前沿编程、长上下文推理的任务上,超过 30% 的标注对无法在两个候选回答之间做出稳定的偏好判断(标注员内部一致性 κ < 0.4)。这意味着对于这一类任务,人类标注的边际信息量正在归零。
1.2.4 质量的天花板:重复、模板化与"熵的悬崖"
最后还有一个更隐蔽的成本:真实数据本身的质量分布,正在系统性地变差。
2005 年之前的互联网,博客作者平均每篇帖子会写 800 到 1500 字,因为他们想表达点什么。2020 年之后的互联网,SEO 内容农场、AI 生成的低质网页、广告填充的着陆页占据了新增网页的相当比例。Common Crawl 的内部统计显示,2024 年新增的网页中,超过 40% 在经过模板去重、内容长度过滤、广告移除后,可用的"信息 token"不足 30%。
这是一个隐形的"熵的悬崖":真实数据的总量仍在增长,但单位 token 的信息密度却在快速下降。如果把模型的有效训练 token 定义为"信息密度高于某阈值的 token",那么这个数实际上在过去三年里是负增长的。这就像一个人每天吃饭,但每顿饭的营养含量越来越低 —— 表面上没有饿,实质上在挨饿。
把版权、隐私、标注、质量这四层隐性成本叠加起来,可以得到一个直观的"实际成本曲线":
$$ C_{\text{effective}}(D) = C_{\text{acquisition}}(D) + C_{\text{licensing}}(D) + C_{\text{compliance}}(D) + C_{\text{annotation}}(D) + \lambda \cdot D_{\text{low-density}} $$
其中最后一项 $\lambda \cdot D_{\text{low-density}}$ 是一个惩罚项,代表为了从低密度数据中榨取信息所付出的额外算力与工程开销。当 $D$ 越大,后面四项的相对权重就越高,真实的"每有效 token 成本"不再像 2022 年那样近似水平,而是显著上扬。
这一节的结论可以浓缩成一句话:真实数据的总账,从来不只是爬虫账单上那个数字。
---
1.3 质量 vs. 数量:数据密度成为新前沿
1.3.1 拐点出现在哪里
2024 年 4 月,一个被反复引用但很少被完整解释的实验由 Together AI 和 CRFM 联合发表。他们训练了两个 7B 参数的模型,A 模型用 1T token 的 Common Crawl 全量数据,B 模型用 50B 经过严格质量过滤的精选数据(主要包括:精选书籍子集、人工审阅的高质量代码、长形式技术博客、数学证明、维基百科精选)。两个模型架构、超参、训练步数完全一致。
结果令人震惊