数据引擎范式：为什么合成数据是下一代AI的燃料

第 1 章 数据引擎范式：为什么合成数据是下一代AI的燃料

1.1 数据墙假说：高质量公网数据的总量上限与边际成本

2022 年 Hoffmann 等人在 Chinchilla 论文中给出了一个让整个行业不安的推论：如果把"算力 C"作为固定预算，把"参数 N"和"数据 D"作为可分配资源，那么在严格 compute-optimal 设定下，模型规模和数据规模应当等比例增长，而参数量本身并不是越多越好。这条结论直接暴露了一个被长期掩盖的事实——公网文本的供给曲线并不是平的，而是一条斜率持续下降的凹函数。当从业者沿着这条曲线继续向上推算时，会不可避免地撞上一面墙，我们把它称作"数据墙"（data wall）。

要理解这面墙的具体位置，需要先看清三组数字的演化。

第一组是公网文本的累计总量。粗略估计，截至 2024 年初，人类公开发布、机器可抓取的高质量文本（去重后、长度超过 64 token 的自然段落）总量约在 15–20 万亿 token 之间。这个数字看起来巨大，但要注意它的两个性质：其一，它在 2017 年之后增速明显放缓，因为新增内容的主体已经从博客、长文转向了社交短帖、图像说明和低信息密度的 UI 文本；其二，可被语言模型有效学习的"高质量"子集经过启发式过滤和分类器打分后，经验保留率通常只有 25%–45%，落到训练管线里时实际可用量再打一个折扣。

第二组是高质量标注数据的边际成本。训练一个有用的对话模型或推理模型，离不开指令微调（instruction tuning）和人类反馈强化学习（RLHF）数据。根据 Scale AI、Surge AI 等主流供应商在 2023 年的公开报价，一段经过双人标注、含 3–5 轮对话、含 reasoning 标注的高质量样本，采购成本约在 6–15 美元之间；而要在某个专业领域（如法律、放射科报告）构造一份 10 万条规模的领域指令集，预算通常超过 150 万美元。这条成本曲线不像参数那样可以靠硬件摩尔定律摊薄，它主要由人力工资决定，下降速度极慢。

第三组是算力侧的扩张速度。即使在最保守的估计下，单个训练集群的 FLOPS 也在以每年 3–4 倍的速度增长。也就是说，算力侧的可用预算大约每 6 个月翻一倍，而高质量数据侧的可用预算每 18–24 个月才翻一倍。这种"剪刀差"会在一个可预测的时间窗口内把任何追求"更大模型 + 更多数据"的项目逼入瓶颈。Llama 2 的训练语料在 2 万亿 token 量级，Llama 3 把这一数字推到约 15 万亿 token，假设下一代模型沿用 compute-optimal 配比，所需数据将直接撞上公网可获取上限。

把这三组数字合起来，可以用一条经验公式近似描述"数据墙"在任意时间 t 出现的位置。设 $S(t)$ 为公网可获取的高质量训练 token 上限，$R(t)$ 为每年新增的等价 token，$p(t)$ 为价格（以每千 token 的美元计），则单位算力预算 $C$ 下可负担的数据量 $D(C, t)$ 满足：

$$D(C, t) = \min\left\{ S(t),\; \frac{C}{\eta \cdot p(t)}\right\}$$

其中 $\eta$ 是 token 利用效率参数，反映了"喂入 1 token，最终被模型有效学习"的折扣。函数 $D(C, t)$ 是一条先线性增长、后被 $S(t)$ 截断的折线，拐点即数据墙。$S(t)$ 的增长越来越慢，$C$ 的增长却越来越快，所以拐点会以越来越短的间隔反复出现。

需要强调的是，数据墙不是某一年的灾难性事件，而是一种持续发生的边际收益递减状态。它表现为：在某个时间点之后，无论把训练算力再翻多少倍，模型在标准 benchmark 上的提升都不再与算力增长成比例；与此同时，工程团队需要把越来越多的精力投入到数据工程（去重、过滤、合成、评估）上，而不是模型架构本身。这就是"数据采集"范式让位于"数据工程"范式的根本原因。

对于一家计划在 2025–2027 年自建基础模型的公司，第一道数据墙大概率出现在 30–50 万亿 token 的训练规模上。能否在撞墙之前完成从"采集导向"到"工程导向"的范式切换，决定了它能否维持下一阶段的训练-收益曲线。

1.2 Chinchilla最优配比与算力-数据-参数的三角约束

数据墙的存在并不意味着可以放弃规模。Chinchilla 揭示的是一个更精确的命题：在固定算力 C 下，参数 N 和数据 D 存在一个使 loss 最小化的配比，偏离这一配比无论哪个方向都会造成算力浪费。 把这条结论从单点推到训练前沿，就得到了"算力-数据-参数"三角约束——它本质上是一个三元优化问题，但加上工程与商业约束后，落地形态远比论文里复杂。

Chinchilla 的原始拟合给出最优非嵌入参数量与最优 token 数的关系近似为：

$$N_{\text{opt}} \approx 20 \cdot D_{\text{opt}}$$

也就是说，每个非嵌入参数对应大约 20 个训练 token 是 compute-optimal 的。这一规则在 100M 到 10B 参数区间被反复验证，对应到 GPT-3 175B 量级，理论上应当使用约 3.4 万亿 token 的训练数据；而 GPT-3 实际使用了约 3000 亿 token，仅有 compute-optimal 量的不到 10%，这意味着它在数据上严重欠拟合。当年这一选择并非失误，而是"以参数量换取推理时 zero/few-shot 能力"的权衡。

进入 2023 年后，行业普遍向 Chinchilla 配比靠拢。Llama 1（7B–65B）用约 1.4 万亿 token，比例约 20–22 token/参数；Llama 2 把这一比例维持在 18–20；Llama 3 8B 已经用 15 万亿 token 训练，比例约 1875，远超 Chinchilla 推荐的 20。这一"过训练"（overtraining）现象是行业对数据墙的直接回应：用更多数据、更小模型，牺牲每 FLOP 的损失下降速率，换取推理成本的可控性。一个 8B 模型被 15T token 训练后，单次推理成本远低于 70B 模型，这是产品侧可以接受的工程取舍。

把这种取舍正式化，可以定义一个"产品级损失"：

$$\mathcal{L}_{\text{prod}}(N, D) = \mathcal{L}_{\text{train}}(N, D) + \lambda \cdot \text{Cost}_{\text{inf}}(N)$$

其中 $\lambda$ 是反映产品商业约束的权重，$\text{Cost}_{\text{inf}}(N) \propto N$（或更精确地，正比于 KV cache 与注意力计算开销）。最小化 $\mathcal{L}_{\text{prod}}$ 得到的 $(N^*, D^*)$ 往往落在 Chinchilla 配比右侧，即用数据换参数。这正是 GPT-3.5-turbo、Llama 3 8B、Phi 系列背后的共同逻辑：与其训练一个 200B 模型去服务所有人，不如训练一个 8B 模型用 10 倍数据去逼近其 80% 的能力，因为推理侧的 $N$ 节省带来的 TCO 改善远远超过训练侧的 $D$ 增量成本。

这层推理对合成数据的关键意义在于：它重新定义了数据的稀缺对象。当模型的目标函数从"学术最优 loss"转向"产品级 loss"时，数据的稀缺性就不再是 token 总数，而是"在推理成本预算下能持续提升模型的那部分高质量 token 的边际产出"。一个 8B 模型配 50T 高质量 token，比一个 70B 模型配 5T 普通 token 更接近产品最优解，但 50T 高质量 token 同样无法靠公网采集得到——这正是合成数据必须登场的根本原因。

更进一步，三角约束中存在一个长期被低估的第三顶点：评估数据的独立预算。Compute-optimal 训练假设评估分布固定、评估数据无限便宜，但实际工程中，每一次架构调整、每一次数据配比变更都需要重新评估，而高质量评估集（特别是长尾能力、对齐安全、领域专业）同样撞墙。一个完整的数据引擎必须把评估反馈闭环纳入算力预算，而合成数据在这里扮演的角色是同时充当训练集与评估集的"可控源"。

1.3 数据引擎的四层技术栈：采集、清洗、合成、反馈

把"数据工程"从口号落地为工程实践，需要一个清晰的技术栈分层。本书把现代大模型的数据基础设施抽象为四层：采集层（Collection）、清洗层（Curation）、合成层（Synthesis）、反馈层（Feedback）。这四层不是流水线上的四个工位，而是一个相互依赖的反馈系统，核心特点是"上游的产出由下游的信号定义"。

```mermaid flowchart LR A[原始语料池] --> B[采集层] B --> C[清洗层] C --> D[合成层] D --> E[反馈层] E -->|在线信号回流| D E -->|弱监督样本回流| C E -->|新语料发现| B E --> F[下游训练与评估] F -->|模型行为与评估| E ```

采集层回答的是"语料从哪里来"。在 2024 年前后，主流采集渠道包括：Common Crawl 等开放爬虫、Wikipedia 与学术开放仓库、代码托管平台（GitHub、HuggingFace）、新闻与出版商授权语料、领域合作伙伴数据（如法律判例、医疗文献）、以及合成数据本身作为再生产的种子。每一类渠道都有自己的质量分布、版权风险和获取成本。采集层的关键工程问题不是"能不能抓"，而是"如何在抓取成本与版权/合规成本之间取得均衡"，以及"如何用最少的预算获得最大的信息熵收益"。实践中，信息熵密度（每 token 的新颖信息量）正在取代 token 总数，成为采集层的核心 KPI。

清洗层的任务是把采集层产出的原始语料转换为模型可以高效学习的形式。它包含五个核心子模块：去重（文档级、段落级、句子级、token 级）、质量过滤（基于分类器、启发式规则、或 LLM 评分）、去敏感（PII 检测与脱敏）、标准化（统一编码、长度、格式）、以及重平衡（调整领域、长尾、风格的分布比例）。Llama 2 公开的清洗管线显示，原始 90T token 经过这套流程后最终保留 1.4T，保留率仅 1.5%；Llama 3 把这一比例提升到约 6%–8%，主要靠更强的质量分类器。这一层的瓶颈在于"质量判定"本身的成本：用一个小模型打分可以过滤明显的低质量样本，但要在 SOTA 水平上识别"看似流畅、实则含有隐性错误或低信息密度"的样本，几乎只能依赖更大的模型——而更大的模型打分又消耗大量算力。

合成层是本书的核心，也是数据墙出现后行业投入最激进的方向。它通过已有模型、规则引擎、外部工具、可验证环境（verifier）以及人类专家的组合，生成全新或半合成的训练样本。合成数据的形态远不止"让 LLM 自问自答"一种。本书把合成数据划分为五大类：基于改写（paraphrase / style transfer）、基于自指令（self-instruct / evol-instruct）、基于工具链（tool-use traces）、基于多智能体（multi-agent debate / role-play）、以及基于环境反馈（RL with verifier）。每一类在生成成本、信息增益、长尾覆盖能力、可验证性上各有取舍，后文会用专门章节逐一拆解。

反馈层是数据引擎区别于传统 ETL 管线的关键。它把模型在训练过程、评估集、线上推理中产生的所有信号——loss 曲线、reward 分数、用户反馈、错误案例、分布漂移检测——回流到上游三层。一个成熟的数据引擎在任意时刻都应回答两个问题：当前训练集里哪些子分布是过剩的，哪些是稀缺的？下一轮训练应当新增什么、删除什么、强化什么？ 这两个问题只能由反馈层回答，而它们的回答决定了整条管线的实际产出。

把四层放在一起看，它们的依赖关系呈现出"反向定义"的特点。反馈层定义的"什么是高质量"会被清洗层和合成层作为优化目标；清洗层和合成层决定了"模型实际学到了什么"，从而反过来塑造反馈层的信号分布；采集层的预算分配由清洗层的过滤效率和合成层的种子需求共同决定。这种循环因果正是"数据引擎"与"数据集"概念的本质差异——数据集是静态产物，数据引擎是一个持续运转、持续进化的工业系统。

理解了四层结构之后，本书后续章节的依赖关系也就清晰了：第 2–4 章深入清洗层（质量、隐私、去重），第 5–10 章深入合成层（五大类合成方法），第 11–13 章讨论反馈层与评估闭环，第 14–15 章回到采集层谈多模态与跨域数据治理。任何一层缺位，整套飞轮都会失衡。

1.4 合成数据的三大价值：长尾覆盖、分布校准、隐私脱敏

合成数据不是公网数据的"次优替代"，而是在三种特定价值维度上公网数据无法替代的工程手段。这三种价值分别对应模型生命周期中的不同瓶颈。

价值一：长尾覆盖（Long-tail Coverage）。 公网数据天然服从幂律分布，头部少数主题占据绝大部分 token 量，而真正决定模型在专业场景可用性的，是长尾中的医学罕见病报告、跨境法律意见书、小语种方言、口语化代码评审记录等。一个 8B 模型即使在 15T token 上训练，它对长尾主题的"见过"概率依然服从 Zipf 分布的尾部衰减。合成数据可以主动构造长尾样本：在罕见病主题下让领域专家给出若干种子案例，让 LLM 在保持医学事实正确性的前提下扩展出 1000 倍的同分布变体；在小语种上让母语者提供 100 句种子，通过可控改写生成 10 万句风格/语域覆盖完整的语料。Phi 系列模型的核心训练技巧之一，就是用 GPT-3.5/4 生成"教科书式"的高质量长尾语料，把模型在 reasoning benchmark 上的表现推到了超过其参数量级应有的水平。长尾覆盖的本质是"用合成把分布的尾抬起来"。

价值二：分布校准（Distribution Calibration）。 训练数据与产品场景的分布错位是几乎所有垂直大模型项目的头号杀手。公网文本里充斥的是百科条目、营销文案、社交媒体口水文，而产品场景需要的可能是结构化输出（JSON、SQL）、特定格式（合同条款、检验报告）、特定推理模式（chain-of-thought + tool use）。单纯在公网数据上微调，模型会学到"风格先于内容"，输出风格常常不匹配。合成数据可以显式指定目标分布——给定 N 个真实业务样本作为种子，合成出 N×K 个保留核心事实、但格式/风格/推理路径不同的样本，让模型学到"内容的不变性"与"形式的多样性"。DeepMind 在 2024 年公开的"Constitutional AI"管线中，把这一思路用在了价值观对齐上：通过让模型生成多个候选回答、并按宪法规则批量筛选出符合分布偏好的样本，构造了一个远比人类标注稳定的偏好数据集。

价值三：隐私脱敏（Privacy Desensitization）。 在医疗、金融、政务等强合规领域，原始数据的可用性受到严格限制，单纯用 NER + 替换的脱敏方法会在"语义一致性"和"下游任务可用性"之间留下无法弥补的损失。合成数据提供了一种"用生成代替采集"的合规路径：模型从真实数据中学习的是统计模式，而不是任何具体记录，理论上可以做到"生成的每条样本都不对应任何真实个体"。Microsoft Research 2023 年的 Synthetic-PHI 工作、Differential Privacy 与 LLM 联合训练的若干工作都表明，在严格 (ε, δ)-DP 保证下生成的合成医疗问答对，仍能在 MedQA 上保留 90% 以上的原始数据效用。这一价值在数据墙之外，构成了另一道"合规墙"——许多行业不是缺数据，而是法律上无法使用数据，合成数据是突破这堵墙的关键工具。

把这三种价值并列后，可以更准确地理解合成数据在数据引擎中的角色定位：它不是"采集层的廉价替代"，而是"采集层 + 清洗层都无法触达的盲区的唯一解"。一个成熟的数据引擎在每一轮训练中都会问：现有公网数据 + 清洗管线之后的语料，在哪些子分布上还有显著缺口？这些缺口是采集能补的（可能因为采集成本过高）还是采集无法补的（可能因为该分布在公网上根本不存在）？对于后者，唯一可行的来源就是合成。

值得注意的是，合成数据并非没有风险。早期合成数据项目中常见的"model collapse"（模型坍缩）问题——多代自生成数据训练后，模型输出分布收窄、模式化、丢失多样性——是大量团队在 2022–2023 年踩过的坑。规避坍缩的关键不在于"少用合成数据"，而在于合成数据必须有独立的真实信号锚点：种子来自真实分布、评估来自真实分布、合成路径中嵌入可验证的约束（规则、工具、verifier）。第 8 章会专门讨论合成数据的坍缩机制与防护策略。

1.5 公开案例与数据墙工作表：把方法论落地为内部评审语言

本节用三个公开案例串联前四节的论证，再给出一张可以直接复用的"数据墙评估工作表"，帮助读者在内部技术评审中用一张图说清楚"为什么必须投资合成数据"。

案例一：GPT-4（OpenAI, 2023）。 OpenAI 未公开 GPT-4 的训练数据构成，但技术报告与多位前员工的访谈一致表明，GPT-4 在 RLHF 阶段大规模使用了模型自生成的候选回答，并由人类标注员对模型互评的胜出者进行排序。这意味着在最后阶段，合成数据（模型候选）实际上成为人类标注的"前置过滤器"。同时，GPT-4 公开强调的"constitutional + RLAIF"思路——用规则约束下模型自评替代部分人类偏好标注——直接体现了合成数据在偏好对齐上的不可替代性。该案例说明：当人工成本成为瓶颈时，合成数据是扩大对齐数据规模、保持对齐深度的关键路径。

案例二：PaLM-2（Google DeepMind, 2023）。 PaLM-2 论文披露其训练数据是"精心策划的网页、书籍、代码、对话和合成数据的混合"，其中合成数据被显式用于补齐高质量推理、数学、代码等子分布。特别值得注意的是，PaLM-2 的训练管线中包含一个"self-improvement"环节：模型在数学题上生成多条候选解，用规则 verifier（答案是否匹配）筛出正确解，再把这些正确解加入训练集进行下一轮微调。这种"verifier-guided synthesis"避免了纯自生成数据常见的坍缩问题，因为每一条新数据的