数据危机的工业现实：从模型中心到数据中心

第 1 章 数据危机的工业现实：从模型中心到数据中心

1.1 一个无法回避的问题：数据为什么突然变成了"制造对象"

2023 年末，The New York Times 对 OpenAI 提起诉讼，指控其未经授权使用数百万篇文章训练 GPT 系列模型；几乎同一时间，Universal Music Group、Concord Publishing 与 ABKCO 联合向 Anthropic 发出侵权诉状，要求立即停止使用受版权保护的歌词训练 Claude。在此之前的两年里，欧盟通过 AI Act、美国加州更新 CCPA 配套规则、中国网信办颁布《生成式人工智能服务管理暂行办法》，监管的颗粒度从"原则性声明"收紧到"训练数据可追溯"。在法庭与监管厅之外，更安静的危机也在实验室里发生：DataComp-LM（DCLM）基准显示，当公开爬取数据池超过约 6T token 后，模型在多数下游任务上的增益曲线开始显著变平；而 Hoffmann 等人 2022 年提出的 Chinchilla 缩放定律，已经在 GPT-4、Gemini 1.5、Llama 3 等后续训练报告中被反复验证——在算力给定的情况下，数据效率比参数规模更重要。

这三条线索——司法、监管、性能曲线——指向同一个结论：大规模自然语料的"可获得性"正在被结构性削弱，而"已获得数据"对模型性能的边际贡献也在持续递减。当供应侧收紧、需求侧放缓同时发生时，工程上的唯一解法就是把"采集数据"升级为"制造数据"。这就是为什么 2023 年之后，Meta、Anthropic、Microsoft、Mistral、阿里、字节同时把合成数据（synthetic data）从"实验性技巧"推到了"主训练流程"的位置。

本章将依次拆解三件事：第一，数据危机的工业约束由哪些力量叠加而成；第二，合成数据为什么是同时穿越这些约束的工程解；第三，读者如何用一张自评表判断自己所处的数据成熟度阶段，从而选择正确的入门路径。

> Learning Objective：阅读完本章，你应该能够用自己的话解释"为什么 2024 年之后合成数据从配角变成主轴"，并能在自家业务的语境里完成一份可执行的数据成熟度自评。

1.2 数据危机的三层因果链：资源、监管、经济

我们用一个三层因果图把数据危机的全貌展示出来。它不是装饰，而是后续每一节展开的"地图"——读者可以随时回到这张图，对照当前讨论的层级。

```mermaid flowchart TD A[Resource Layer / 资源层] --> B[Regulatory Layer / 监管层] B --> C[Economic Layer / 经济层] A --> C C --> D[Synthetic Data as Cross-Layer Solution / 合成数据作为跨层解] A --> D B --> D ```

资源层回答的是"还剩多少高质量自然数据可用"。Common Crawl 的全网抓取量从 2017 年的约 1.5 亿网页增长到 2024 年的约 250 亿网页，但其中可被判定为"高质量文本"的比例，根据 DataComp-LM 的过滤管线估计，仅占 3%–7%。换言之，可用 token 的天花板不是被"抓得多"决定，而是被"过滤得严"决定。Meta 在 Llama 3 的技术报告中明确披露，其最终训练数据池从原始 15.6T token 经过质量过滤、领域重采样、去重、合规清洗后，仅剩约 1.8T token 进入预训练阶段，过滤比超过 88%。这意味着"自然语料的潜在总量"和"实际可用的训练总量"之间存在一到两个数量级的鸿沟。

监管层回答的是"哪些数据合法、哪些数据需要授权、哪些数据必须删除"。在 GDPR 的"被遗忘权"（Right to be Erasure, Article 17）和 AI Act 的"训练数据透明度义务"（Article 53）双重作用下，模型团队不仅要在训练前确保来源合法，还要在训练后具备"定向删除"和"溯源解释"的能力。这要求数据本身具备可追溯性，而爬取数据天然缺乏这种属性。NYT v. OpenAI 案中，原告主张 ChatGPT 能够"几乎逐字"复现其文章，这一事实让"训练数据无记忆"的假设被打破——任何对原始数据的复制能力都会在法庭上被解读为"实质性使用"。

经济层回答的是"再多数据是否还划算"。Chinchilla 定律给出了一个简洁的结论：在给定算力预算 $C$ 下，最优参数规模 $N$ 与训练 token $D$ 满足 $N \approx D^{0.5}$。这意味着算力翻倍时，参数与数据需要同步增长才能维持最优。但当数据从"接近免费"变成"每多一个 token 都要付合规成本、授权成本或人工标注成本"时，$D$ 的扩张速度会显著落后于 $N$，模型迅速进入"参数过拟合于数据"的次优区域。

三层之间不是并列的，而是互相放大的：监管收紧（层 2）使资源层（层 1）的可用数据更少；资源越少（层 1）使得每多一个 token 的边际成本越高（层 3）；经济压力（层 3）又迫使企业更倾向于冒险使用"灰色来源"数据，进而触发更多诉讼与监管（层 2）。合成数据之所以成为关键变量，正是因为它是少数同时穿越三层约束的工程手段：它可以在合规的前提下被无限生成（缓解层 1），天然携带授权信息与可追溯元数据（满足层 2），并且边际成本随规模递减（优化层 3）。

1.3 三大工业约束的逐项拆解

1.3.1 版权与合规：从"合理使用"到"实质性使用"

美国版权法的"合理使用"（Fair Use, 17 U.S.C. §107）有四个判断要素：使用目的与性质、被使用作品的性质、使用部分的数量与实质性、对潜在市场的影响。在 Authors Guild v. Google（2015）中，第二巡回法院判定 Google Books 对书籍片段的数字化与搜索展示属于转化性使用（transformative use），不构成侵权。这一判例被 LLM 行业广泛援引作为"训练合理"的法理基础。

但 LLM 与图书搜索存在本质差异：图书搜索返回的是片段定位，而 LLM 在某些 prompt 下会输出接近原文的连续段落。NYT v. OpenAI 案的核心争议之一，就是原告给出了多组 ChatGPT 输出与 NYT 原文几乎逐字对应的样本。这种"输出级复制"让法庭很难继续援引"转化性使用"作为挡箭牌。更复杂的是，UMG v. Anthropic 案聚焦的是歌词——这一品类长度短、可识别度高、创作主体明确，几乎不存在合理使用空间。

对模型团队而言，这意味着一道隐形的红线：任何在原始数据上"过度拟合"的痕迹都会成为庭审证据。而合成数据的关键特性之一，正是它不直接复制原始样本——它可以被设计为"风格一致但表述不同"，从而在输出端大幅降低被识别的概率。

1.3.2 隐私与监管：从"知情同意"到"训练数据可解释"

GDPR 在第 5 条要求数据处理遵循"目的限定"（Purpose Limitation）与"最小化"（Data Minimization）原则，在第 22 条限制对个人的自动化决策。这意味着：模型若用包含个人信息的语料训练，理论上需要取得"明确同意"或满足"合法利益"测试。然而，爬取数据的默认状态是"无同意"，这让大多数 LLM 训练在严格 GDPR 解读下处于灰色地带。

AI Act 进一步引入"训练数据摘要"（Training Data Summary）义务，要求提供面向欧盟用户的基础模型必须公开训练数据的高层统计特征与来源类别。CCPA 则赋予加州居民"知情权"与"删除权"，并明确"训练数据"不构成"商业秘密豁免"。当这些规则叠加在一起，模型团队必须能回答三个问题：数据从哪来、用来做什么、能不能针对个体撤回。

合成数据在这里提供了两条路径：完全合成（fully synthetic） 让原始数据不出训练流程，规避 GDPR 的"个人数据处理"定义；条件合成（conditionally synthetic） 则通过差分隐私（DP）或 k-匿名化处理后再生成新样本，确保输出端无法回溯到个体。我们将在第 4 章详细讨论这两条路径的工程实现。

1.3.3 长尾覆盖与价值密度不均

即使在合规与隐私约束之外，自然语料还存在一个长期被低估的问题：价值密度在领域间的不均匀分布。Common Crawl 中英文比例约为 4:6，但代码语料中 Python 又占代码总量的 60% 以上，医学、法律、阿拉伯语方言、罕见工业领域几乎完全缺位。这不是"数据总量不足"的问题，而是"特定能力维度的样本不足"的问题。

Meta 在 Llama 3 报告中披露了一个关键数据：通过对"专家路由（Expert Routing）"的 token 分布分析，模型在 1.8T token 上训练后，对低资源语言（Low-Resource Language）的困惑度（Perplexity, PPL）仍然比高资源语言高出 3–8 倍。这说明单纯扩大自然语料总量无法解决长尾问题——因为长尾部分本身在自然分布中就是稀缺的。

合成数据提供了"按需生成"的能力：你想要多少阿拉伯语摩洛哥方言的金融对话样本，理论上都可以在受控条件下生成，并通过"合成-真实"混合（synthetic-real mix）注入训练集。但这里的工程难点是保真度（fidelity）与多样性（diversity）的平衡——生成模型如果过拟合于种子分布，会输出大量重复或模式单一的样本，反而放大模型偏见。我们将在第 5 章系统讨论这一权衡。

1.4 Chinchilla 缩放定律与数据效率的边际递减

Hoffmann 等人在 DeepMind 的 Chinchilla 论文（2022）中给出了后来被广泛引用的结论：训练 token 与参数量的最优比率约为 20:1。这意味着一个 70B 参数的模型应该在约 1.4T token 上训练，而不是 GPT-3 时代的 300B token 训练 175B 参数（比率约 1.7:1）。换言之，GPT-3 处于"严重欠训练"状态。

这一结论在 2023–2024 年被反复验证。Llama 3 70B 使用约 1.8T token（比率约 26:1），略高于 Chinchilla 最优点；Mistral 8x22B 使用约 4T token（比率约 22:1）。这表明业界已经普遍接受"参数-数据协同扩展"的范式。

但 Chinchilla 假设了一个关键前提：数据是无限可得的、质量是均匀的。一旦这两个假设被打破，缩放定律就需要修正。DataComp-LM（2024）通过在 412M 参数模型上系统扫描不同数据过滤策略发现：当高质量 token 池（通过 DCLM 评分筛选）从 1T 增长到 6T 时，模型在 53 项下游任务上的平均准确率仅提升约 1.4 个百分点。这一边际收益远低于按 Chinchilla 预测应得的约 5–7 个百分点。论文给出的解释是：剩余的自然语料在分布上越来越接近模型已学到的部分，提供的"新信息"急剧减少。

用更形式化的语言表达，假设真实世界分布为 $p(x)$，模型在已有数据 $D_0$ 上学到的近似分布为 $q_{\theta}(x)$。新数据 $\Delta D$ 带来的期望收益正比于 $p$ 与 $q_\theta$ 之间的 KL 散度（或称"信息缺口"）：

$$\text{Gain}(\Delta D) \propto D_{KL}(p \| q_\theta) = \sum_x p(x) \log \frac{p(x)}{q_\theta(x)}$$

当 $q_\theta$ 已经能较好覆盖 $p$ 的常见区域时，$D_{KL}$ 趋近于零，更多 $\Delta D$ 的边际增益也就趋于零。要让 Gain 重新增长，必须主动构造 $p$ 尚未覆盖区域的样本——这正是合成数据的用武之地。

Meta 在《Synthetic Data for Large Language Models: A Survey》（2024）中总结了三种典型的"信息缺口驱动"合成策略：

1. Capability-targeted synthesis：针对模型评测中表现差的子任务（如多步推理、代码执行）生成专项训练样本。 2. Persona-conditional synthesis：通过角色（persona）条件生成不同领域、不同难度、不同视角的样本，扩大分布覆盖。 3. Adversarial synthesis：用 red-team 模型主动寻找模型失败模式，再由生成模型针对失败模式构造对抗样本。

这三种策略的核心共同点是：不再被动接受自然分布，而是把数据生成当作可调的超参数。

1.5 三大厂商策略对比：Meta、Anthropic、Microsoft

为了避免"合成数据万能论"的错觉，我们有必要对比三家头部公司的具体做法。每家公司的策略都体现了其业务定位与风险偏好的差异。

1.5.1 Meta：从 Llama 2 到 Llama 3 的"自蒸馏-进化"路线

Meta 在 Llama 2 的训练中已经大规模使用合成数据，主要形式是 Self-Instruct 风格的指令样本。在 Llama 3（2024）中，Meta 公开了一个关键流程叫 "reject sampling + evolution"：

1. 用 Llama 3 70B 对自然指令样本生成多个候选回答。 2. 用一个奖励模型（Reward Model）或规则过滤器对候选打分，仅保留高质量回答。 3. 对保留下来的回答进行"进化"（evolution），即通过 prompt 让模型改写表达、增加多样性、改变格式。 4. 把进化后的样本与原始样本混合，进入下一轮 SFT（Supervised Fine-Tuning）。

Meta 在技术报告中披露，这种"自我进化"的合成数据占 Llama 3 SFT 阶段的约 50%。这种方法的优势是完全闭环——不需要外部模型、不存在版权问题。劣势是模型天花板被自己锁定——生成质量不会超过 Self-Instruct 阶段的种子模型。这也是为什么 Meta 同时在投入奖励模型与宪法式（Constitutional）评估管线。

1.5.2 Anthropic：Constitutional AI 与 RLHF 的合成化

Anthropic 的 Constitutional AI（CAI）方法在 2022 年公布，是合成数据替代部分人工标注的早期典范。CAI 的流程分两步：

1. 监督阶段：模型对一批 prompt 生成多个回答，由一个"宪法"（constitution）——一组自然语言表述的原则——对每个回答进行批评与改写。批评与改写样本均由模型自身生成。 2. 强化阶段：用宪法评分训练的 RLAIF（Reinforcement Learning from AI Feedback）模型替代人类偏好标注，对模型进行 RL 训练。

这种设计的核心好处是：人类标注员的工作量从"标注每条偏好"降到"撰写一组原则"。Anthropic 在 Claude 3 的训练中继续使用并扩展了这一框架。需要注意，CAI 生成的并非纯合成数据，而是"合成批评 + 人类原则"的混合产物，这使它在合规上仍保留人类价值锚点。

1.5.3 Microsoft：Phi 系列的"教科书级合成"

Microsoft Research 的 Phi 系列（Phi-1、Phi-1.5、Phi-2、Phi-3、Phi-4）走了一条非常激进的路线——几乎完全使用合成数据训练。Phi-1 的 6B 参数模型仅用约 7B token 训练，其中约 85% 是合成的"教科书风格"代码与解释文本。Phi-3（2024）扩展到约 3.3T token，但合成比例仍保持在 60% 以上。

Microsoft 的合成策略被称为 "textbook-quality synthetic data"：通过精心设计的 prompt 模板，让大模型（如 GPT-4）以"老师"身份生成结构清晰、概念准确、难度分级的教学内容。这种数据在质量上极不均匀，但优势是与下游评测的对齐度极高——因为生成模板本身就是针对目标能力设计的。

风险也很明显：Phi-3 在多个公开榜单上的表现低于同规模使用大量自然数据的模型（如 Llama 3 8B、Mistral 7B），这说明纯合成路线在分布外泛化上存在结构性弱点。Microsoft 自己也在 Phi-4 中部分回退到自然数据与网络数据的混合训练。

1.5.4 三种策略的对比矩阵

| 维度 | Meta（自进化） | Anthropic（Constitutional） | Microsoft（教科书式） | |------|---------------|----------------------------|----------------------| | 主要合成阶段 | SFT | SFT + RLHF | 预训练 + SFT | | 合成比例 | 中（约 50%） | 高（覆盖全部偏好标注） | 极高（>60%） | | 人类参与度 | 低（少量规则标注） | 中（撰写宪法） | 低（设计模板） | | 版权风险 | 低 | 低 | 低 | | 分布外泛化 | 中 | 中-高 | 低-中 | | 工程复杂度 | 中 | 高（需要多轮批评改写） | 低（单轮 prompt） | | 主要短板 | 模型天花板锁定 | 宪法偏差 | 自然分布遗忘 |

这个矩阵揭示了一个反直觉的事实：合成比例越高，工程越简单，但泛化风险也越大。这也是为什么工业实践几乎都走向"合成 + 自然"混合，而非纯合成。

1.6 数据成熟度自评框架：合规、隐私、可控、可重复

理解了上述背景后，每位读者都需要回答一个具体问题："我的业务现在处于哪个阶段？我应该从哪里开始引入合成数据？" 我们设计了一个四维自评框架。

1.6.1 四个维度的定义

1. Compliance（合规）：能否回答"训练数据从哪来、是否取得授权、是否可被撤回"。L1=完全黑盒；L2=可记录来源；L3=可追溯到原始 URL 与授权类型；L4=可对个体数据执行定向删除。

2. Privacy（隐私）：训练数据中是否包含个人信息，是否具备去标识化能力。L1=未做任何处理；L2=简单正则清洗；L3=命名实体识别 + 替换；L4=差分隐私 + 可证明下界。

3. **Controllab