数据饥荒：当互联网被读完的那一天 / The Data Famine: The Day the Internet Was Read
数据饥荒：当互联网被读完的那一天
The Data Famine: The Day the Internet Was Read
凌晨五点四十七分，旧金山海特-艾什伯里区一栋改造仓库的二楼，研究员林启明 (Lin Qiming) 推开笔记本电脑，屏幕亮起的那一刻，邮箱里静静地躺着一封来自基础设施组高级主管的内部邮件。邮件标题只有四个词，却像一记低频重锤砸在了胸口：
[URGENT] Crawl Pipe Saturation.
正文短得像刀片。第一段写道：当前训练集群的实时数据摄取速率已经达到 3.4 TB/hour，而 Common Crawl 团队反馈，他们能够稳定供给的"高质量去重文本"已逼近 2024 年第三季度峰值的 92%。第二段更短：若按当前 GPT-5 级别的训练 token 消耗曲线外推，本实验室的训练数据储备将在 14 个月内进入负增长区间。
Lin 关掉邮件，没有立刻回复。他站在窗边，看着对面街角那家二十四小时营业的书店——店员正把一摞新到的纸质小说往架子上码——那一刻他突然意识到一件自己不愿意承认的事实：在 LLM 训练这场盛宴中，最先被吃完的那道菜，不是算力，不是人才，而是人类已经写下、被数字化、并被允许被抓取的全部文本。
The day the Internet was read is not a metaphor. It is a calendar event now appearing on the Gantt chart of every frontier lab.
这一章，我们将以 Lin 的邮件为起点，沿三条因果链条深入剖析"数据饥荒" (data famine) 的形成机制，解释为什么"再多生成一些数据"并不是答案，并最终把读者带到本书的核心命题——数据内生增长 (Data Endogenous Growth, DEG) 的临界点。
---
1.1 互联网文本的统计极限：当 Common Crawl 开始见顶
Common Crawl 是当前 LLM 训练事实上的"公共水源"。从 2008 年起，这家非营利组织以每月一次的频率发布全网爬虫快照，每个月归档的原始 WARC 文件体积在 200–300 TB 之间。截至 2024 年底，其累计归档已突破 300 PB。但任何一个在生产环境里跑过数据流水线 (data pipeline) 的工程师都知道：归档体积不等于可用语料。
从 WARC 到真正可以喂给 tokenizer 的"干净 token"，中间至少要经过三道工序：
1. WARC 解析与语言识别：剔除 boilerplate、解析 HTML、过滤掉非目标语言，体积通常压缩到原始的 20%–30%； 2. MinHash 去重：基于局部敏感哈希 (Locality-Sensitive Hashing) 的文档级与段落级去重，能再砍掉 40%–60% 的冗余； 3. 质量过滤 (quality filtering)：用启发式规则或者小型分类器 (如 Gopher quality classifier、FineWeb-Edu 的去污器) 筛掉 spam、低信息密度内容与合成残留，最终保留下来的"高质量"语料往往只有 原始归档的 3%–8%。
把这三个折扣连乘，Common Crawl 一个月能贡献给大模型训练的"高质量 token"大约在 20–40 B 之间。这个数字，对于 GPT-4 级别 (训练 token 量级约 13 T)、GPT-5 级别 (业内传闻达到 60–100 T) 的模型来说，只够填满几天到几周的训练预算。
更严重的是第二个事实：Common Crawl 的覆盖增速正在放缓。Epoch AI 在 2024 年发布的 *Compute Trends* 报告中给出了一组值得反复引用的数据——
> "在 2018–2021 年间，Common Crawl 的累计抓取量以年均 27% 的复合增长率上升；但在 2022–2024 年间，这一增长率跌到了 9%，并在 2024 年第二季度首次出现单季度环比下降。"
为什么会下降？答案并不浪漫：互联网本身在"长出来"的速度，低于大模型"吃掉"它的速度。Stack Overflow、Reddit、Medium 等高质量 UGC 平台的反爬机制持续加码；新闻网站通过 paywall 与 robots.txt 封锁了大量历史存档；PDF 形式的学术论文、版权清晰的图书语料，已经被各商业语料库瓜分殆尽。互联网的"开放部分" (open web) 是一个有限集合，而不是一个无限源泉。
Lin 在他的工程师笔记本里记下了一行字："Web is a fixed pool, not a flow."——这句话后来被他反复引用。
---
1.2 Chinchilla 缩放定律：从"模型越大越好"到"数据-模型协同"
如果说 1.1 节回答的是"数据从哪里来"的问题，那么 1.2 节要回答的是"我们到底需要多少数据"——这就要回到 2022 年 DeepMind 那篇被反复误读的论文。
1.2.1 重新理解 Chinchilla
Hoffmann 等人在 *Training Compute-Optimal Large Language Models* (2022) 中提出的 Chinchilla 缩放定律 (Chinchilla scaling law)，用一组拟合实验回答了一个朴素的问题：在给定算力预算 $C$ 的前提下，模型参数 $N$ 与训练数据量 $D$ 应如何分配，才能让最终的测试损失 (test loss) 最小？
他们的结论可以简洁地表达为：
$$ C \approx 6 N D $$
也就是说，在算力最优 (compute-optimal) 区间内，每增加一倍的训练算力，参数与数据应等比例扩展。更具工程意义的经验法则是：
$$ D^{\star} \approx 20 N $$
——每参数应配 20 个训练 token。换句话说，一个 70B 参数的模型，在 Chinchilla 最优配置下应训练 1.4 T tokens。
1.2.2 为什么"模型越大越好"已经失效
GPT-3 (2020) 的训练配置大致是 175B 参数 / 300B tokens，比例约为 1.7 token/param——这意味着 GPT-3 严重欠训 (under-trained)。GPT-4 的传闻参数是 1.8T，训练 token 约 13T，比例约 7.2 token/param——依然低于 Chinchilla 最优。业内共识是：GPT-4 故意"过参数化" (over-parameterized) 是为了推理效率——小模型虽然训练便宜，但推理更慢、更贵，部署到亿级用户时成本结构并不友好。
但这条路的天花板已经被我们看见了。我们定义数据边际收益 (data marginal return)：
$$ \text{Margin}(D) = \frac{\partial \, \text{Performance}}{\partial D} $$
在 Chinchilla 最优点之前，$\text{Margin}(D)$ 是一个大且稳定的常数；越过最优点之后，它会以双曲线形态衰减到接近零。GPT-4 已经在最优点之外——这意味着继续堆参数、加算力，而数据量不变，边际性能提升会迅速趋零。这就是"模型越大越好"这句话在 2024 年开始失效的物理基础。
工程上的推论相当直接：下一代前沿模型的胜负手，已经从"参数规模"转移到"数据-算力配比"——更准确地说，是转移到"高质量数据的持续供给能力"。
1.2.3 你的项目是否已经触及数据瓶颈？
Lin 后来在公司内部分享时给出了一个三问自检表 (data bottleneck self-check)：
1. 去重后 token 增速：过去 6 个月里，你的 pipeline 实际喂给训练的"新 token" (post-dedup, post-filter) 月均增速是多少？如果低于 15%，你已经在吃老本。 2. 困惑度 (perplexity) 衰减曲线：相同模型规模下，连续两个训练阶段的 val-loss 下降幅度是否已经低于 1.5%？如果是，单纯加数据已经带不动了。 3. 数据-算力配比偏离度：当前 $D/N$ 与 Chinchilla 最优点的偏离方向是什么？欠数据 (data-starved) 是危险的，因为它无法靠优化器或架构创新弥补。
这三个问题的答案，决定了你是在做"工程优化"，还是在做"范式迁移"。后者才是本书要谈的事。
---
1.3 数据饥荒的三重成因：规模、质量与伦理
把"数据不够"拆开来看，它其实由三条相互纠缠却成因各异的锁链构成。我们用一张图把它们画清楚：
```mermaid flowchart TD TB[Training Data Bottleneck] --> S[Scale Bottleneck] TB --> Q[Quality Bottleneck] TB --> E[Ethical Bottleneck] S --> SE[Ch4: Distributed crawl + commercial licensing] Q --> QE[Ch3: Reward models + RLHF + active annotation] E --> EE[Ch6: Federated learning + differential privacy] TB --> DG[Ch2: Data Engine and DEG paradigm] ```
这张图是全书结构的缩影。下面我们逐条拆解。
1.3.1 规模瓶颈 (Scale Bottleneck)
如 1.1 节所述，公共互联网的"开放可读"部分是一个有限集合。即便把付费墙后的内容通过授权协议 (licensing deal) 获取，新增一条语料的边际成本 (legal negotiation + integration engineering + cleaning) 正在指数级上升。2024 年与 Reuters、AP、AAP 等机构的多年期合同，单价已经从 2021 年的每亿 token 几百美元，跃升到数千美元。当每单位数据的获取成本超过 GPU 每小时租金时，扩展规模就不再是"工程问题"，而是"经济问题"。
1.3.2 质量瓶颈 (Quality Bottleneck)
规模够了并不意味着训练效果好。Web-scale 数据里真正能提升 reasoning 能力的高质量语料——比如教科书、数学证明、长篇连贯的论述、专家标注的问答对——其比例不到 1%。更重要的是，RLHF (Reinforcement Learning from Human Feedback) 与 RLAIF (Reinforcement Learning from AI Feedback) 阶段所需的高质量偏好标注 (preference annotation)，本质上是人工劳动密集型产出。Scale AI 2024 年的财报披露其单条 preference pair 的均价稳定在 $3.50–$8.00，而前沿模型训练动辄消耗 5–10 M 条偏好标注——这意味着仅 RLHF 一项的标注预算就在 $20M–$80M 量级。
1.3.3 伦理瓶颈 (Ethical Bottleneck)
最后是法律与伦理这条最容易被低估、却最具刚性的锁链。GDPR (欧盟)、HIPAA (美国医疗)、CCPA (加州) 以及不断涌现的各国 AI 法案，把"哪些数据可以用、谁的数据可以用、用了之后模型能否部署"变成一道远比工程更复杂的合规问题。一个看似干净的医疗语料，因为包含 18 项可识别特征 (HIPAA Safe Harbor 的 18 identifiers) 中的某一项，整批数据就不能直接进入训练——即便技术上它对提升模型价值巨大。伦理瓶颈的特点是：它不会因为技术进步而自动消失，反而会因为技术能力越强而越收越紧。
这三重瓶颈在时间维度上还有先后性——规模瓶颈最先显形 (2024)，质量瓶颈紧随 (2025–2026)，伦理瓶颈正在加速到来 (2026 之后)。如果把整本书看作一部三幕剧，本章属于"序章"——介绍三个反派出场。
---
1.4 三个真实战场：饱和、授权与隐私的三条战线
理论分析往往容易停留在抽象层。下面我们以三个发生或正在发生的真实战场 (live battleground) 为切片，让读者看到三重瓶颈如何具体地咬合在一起。
1.4.1 战场一：Common Crawl 的统计学
让我们看一组具体数字。HuggingFace 在 2024 年 6 月发布的 FineWeb-Edu 数据集，是当前公开可用的"教育子集"标杆。它从 Common Crawl 抽取 1.5 T 原始 token，经过两阶段去重 (URL 级 MinHash + 行级 exact match) 加 edu classifier 过滤 (用 Llama-3-70B 当作评分器筛出 1–5 分的样本，仅保留 3 分以上)，最终保留了约 1.3 T "高质量"token。
听起来很丰富。但若把这个数字代入 GPT-5 的训练预算 (假设 80 T tokens)，FineWeb-Edu 只能覆盖 1.6%。这就是 Lin 那封邮件背后真正的数学——即便你把全行业最好的开源教育语料全部拿下，也填不饱一个前沿模型。
更值得警惕的是 FineWeb-Edu 团队的二次发现：在 1.3 T token 中，有 超过 18% 与已有的 FineWeb 主体部分存在语义级重复 (semantic deduplication 使用 BGE-M3 embedding + 0.85 cosine 阈值)。也就是说，名义上的"高质量 token"，实际净增量可能只有 1 T 出头。
1.4.2 战场二：X (前 Twitter) 的数据授权之争
如果说 Common Crawl 的瓶颈是"自然增长不及消耗"，那么 X 平台的故事则展示了另一种形态——平台作为政策制定者，主动收紧数据的"出口"。
2023 年 2 月，Elon Musk 收购后的 X 将学术研究 API 的免费额度彻底清零，并推出三档商业 API，价格区间从 $100/月到 $5,000,000/月不等。这一举措直接切断了数十个学术语料快照项目 (如 *The Trump Tweets Corpus*、*COVID-19 Misinformation Dataset* 等) 的数据源。X 进一步在 ToS 中加入明文条款：禁止用 X 内容训练"任何基础的、非特定用途的 AI 模型"——这一条款在 2024 年 7 月与多家 LLM 厂商的授权谈判中成为核心争议点。
这不是孤例。Reddit 在 2023 年 6 月推出 $6,000/年的"数据 API 合作伙伴"价格；Stack Overflow 在 2024 年初明确禁止将开放内容用于"通用大模型训练"；就连以开放著称的 Wikipedia，其基金会也在 2024 年开始与多家 AI 厂商谈判商业授权——开放数据的"开放"二字，正在被重新定价。
Lin 在一次内部技术评审会上，把这一现象总结为："Web 2.0 时代的免费午餐，已经被 Web 2.0 时代的股东会收回了。" 这句话被他的同事们戏称为"Lin's Law"——后来我们在第 4 章讨论分布式爬虫与商业授权博弈时，还会再次回到这条定律。
1.4.3 战场三：医疗影像数据的 HIPAA 迷宫
第三个战场最为棘手，因为它不涉及价格谈判，只涉及法律红线。
美国 HIPAA 法案及其 *Safe Harbor* 条款规定：医疗数据若包含 18 项可识别特征中的任何一项 (包括姓名、地理位置、日期、设备 ID 等)，必须经过"专家判定"或"安全去标识化" (safe de-identification) 方可用于研究；而一旦用于训练商业 AI 模型，还需要通过 Business Associate Agreement (BAA) 的多重合规审查。
2019 年的 *Moorfields v. DeepMind* 案 (虽然发生在英国，涉及 GDPR，但审判逻辑高度相关) 判决 NHS 信托基金与 DeepMind 之间的数据共享协议无效，理由之一是"未充分告知患者其数据将用于 AI 训练"。这一判例直接导致 Google Health 在 2021 年撤回了与多家医院的视网膜扫描 AI 合作。
技术上，医疗影像看似"丰富"——美国放射学会的 RSNA、欧洲的 ECR、NIH 的 ChestX-ray14 数据集都已经公开。但真正能用于通用模型训练的医疗语料，要么受到 IRB (Institutional Review Board) 的严格限制，要么被各医院作为竞争壁垒自我封锁，要么因为去标识化不彻底而面临诉讼风险。医疗 AI 的"数据饥荒"，本质上是"信任饥荒"和"合规饥荒"，而不是"采集饥荒"。
这三个战场告诉我们：数据饥荒不是单一现象，而是规模、授权、隐私三条战线在同一时刻收紧的总和。任何只针对其中一条战线的解决方案 (比如单纯做分布式爬虫，或单纯买更多 API 配额) 都是隔靴搔痒。
---
1.5 数据内生增长 (DEG)：合成数据为何是范式而非补丁
讲完问题的紧迫，我们要把镜头推向答案。Lin 在邮件处理完后的第二天清晨，在白板上画了一张图，图的中央只有一行字：
"Where does the next token come from?"
他给了自己三个选项：
1. 继续爬 (Crawl more)：天花板已现，不可持续。 2. 花钱买 (License more)：边际成本指数级上升。 3. 让模型自己生成 (Model generates)：可控、可扩展、边际成本递减。
第三种选项，就是本书要展开的范式——数据内生增长 (Data Endogenous Growth, DEG)。