数据新范式：为什么合成数据与数据飞轮成为AI竞争焦点

数据新范式：为什么合成数据与数据飞轮成为AI竞争焦点

如果你正在评估一个 AI 项目的可行性，2024 年之后你大概率会遇到一种新的瓶颈：不是算力买不起，不是模型结构设计不出来，而是"找不到合适的数据"。某互联网大厂的预训练团队在 2023 年底曾公开披露，他们用了 9 个月时间清洗和过滤 80TB 原始网页语料，最终进入训练集的不到 3TB，剩下 96% 的数据被丢弃——不是因为磁盘不够，而是因为这些数据在质量、覆盖度、合规性上都无法满足下一代模型的要求。这不是个案，而是一个正在全行业蔓延的结构性矛盾。

本章要回答的核心问题是：当互联网上的"自然数据"开始无法支撑下一代 AI 系统时，产业界为什么把目光投向了合成数据与数据飞轮？它们到底解决了什么传统方法解决不了的问题？ 我们将从数据供需的底层矛盾出发，逐步建立起"合成数据—数据引擎—数据飞轮"这一组核心概念的精确边界，再用头部企业的真实策略和自动驾驶行业的具体案例，验证这套范式的有效性。最后给出全书的知识地图，帮助你判断自己应该从哪一章开始读起。

---

1.1 数据供需的结构性矛盾与"数据墙"理论

要理解合成数据为什么在 2023—2026 年突然成为焦点，必须先看清楚一个被反复提起但很少被精确刻画的现实：人类有史以来产生的高质量语言数据，可能在 2026—2028 年前后被消耗殆尽。 这不是算力告急式的工程问题，而是触及了 AI 发展的物理边界。

1.1.1 数据驱动 AI 的演进简史

回顾过去十五年，AI 系统的能力跃迁与数据规模的扩张几乎完全同步。可以把这段历史粗略地划分为三个阶段。

第一阶段（2012—2017）：监督学习的黄金年代。 ImageNet、MS COCO、SQuAD 等高质量标注数据集的出现，让深度学习第一次具备了超越传统方法的实用性。这个阶段的数据生产模式是"人工标注为主、众包平台为辅"，数据规模通常在百万到千万样本量级，标注成本是主要瓶颈。Google、Facebook、Microsoft 等公司内部开始建立"数据基础设施团队"，但尚未形成独立的工程学科。

第二阶段（2017—2022）：预训练范式的确立。 Transformer 架构（2017 年）配合大规模无标注文本的自监督学习，催生了 BERT、GPT-2、T5 等模型。数据的获取方式从"标注"转向"抓取"，Common Crawl、Wikipedia、GitHub、ArXiv、Stack Exchange 等公开数据源成为主要原料。数据规模从 GB 级跃升到 TB 级。这个阶段的代表事件是 GPT-3（2020 年）使用了约 45TB 的清洗后文本，对应约 5000 亿 token，标志着"大力出奇迹"扩展定律（Scaling Laws）的初步胜利。

第三阶段（2022—至今）：生成式 AI 与数据矛盾显性化。 ChatGPT 的出现把模型能力推到了"通用助手"的门槛，但同时也把数据问题推到了舞台中央。一方面，模型对数据质量的要求从"够用就行"升级到"必须精准、必须多样、必须合规"；另一方面，可用的公共数据在快速被消耗。2023 年，多个研究机构开始用"token 数量"来度量数据枯竭的速度。

这种演进的本质，是数据从"训练资源"变成了"竞争要素"。在过去，谁有更多爬虫、谁有更强清洗能力，谁就能跑得更快；但在今天，谁能构造出更好的数据生产系统，谁才能定义下一轮竞争的起跑线。

1.1.2 "数据墙"假说：高质量文本的枯竭临界点

"数据墙"（Data Wall）这个概念最早由 AI21 Labs 的研究人员 Yoav Shoham 等人在 2023 年正式提出。它的核心论断是：大语言模型训练所需的高质量文本 token 数量，与人类有史以来产出的可被机器学习使用的 token 数量，将在 2026—2028 年前后达到交汇点。

支撑这个判断的有几个具体测算。Common Crawl 是目前最大的开放网页语料库，月增量约 200—300TB，但经过质量过滤后，可用于大模型训练的比例通常只有 1%—3%。按当前主流的"训练 token 数量是参数 20 倍"的经验法则，一个 10 万亿参数的下一代模型需要约 200 万亿 token 的高质量训练数据；而人类有史以来产生的所有书籍、新闻、论文、对话、代码经过去重和质量过滤后的总量，估计在 500—1000 万亿 token 之间。表面看似乎还够用，但这里有几个被忽视的消耗项：

• **去重损耗**：大规模训练必须做严格的重复检测，避免模型在高度相似的样本上过拟合。经验值是 30%—50% 的去重损耗。
• **质量过滤损耗**：低质量、垃圾内容、有害内容的过滤通常消耗 40%—60%。
• **合规与授权损耗**：版权、个人隐私、地域限制的过滤，在 GDPR 之后愈发严格，欧洲市场可达 15%—25%。
• **多语种平衡损耗**：英语之外的高质量 token 严重不足，配平训练集会造成额外损耗。

把这些损耗叠加起来，实际可用于训练的有效 token 大约只有原始总量的 20%—30%。 也就是说，人类有史以来的高质量训练数据，可能在 200—300 万亿 token 量级，而下一代模型的训练需求正在快速逼近这个数字。

更麻烦的是多模态数据的缺口。文本之外，图像、视频、音频、3D 点云、传感器信号的高质量带标签数据更是稀缺。自动驾驶、医疗影像、机器人等领域早就面临"真实数据永远不够"的困境。这也是为什么合成数据在这些领域率先落地——不是因为技术时髦，而是因为不合成就没数据可用。

1.1.3 算力、算法、数据三要素的重新平衡

数据墙的逼近并不意味着 AI 发展的终结，而是意味着三要素的相对重要性正在发生根本性重排。过去十年的范式是"算力为王、算法次之、数据从旁"，下一个十年的范式将转向"数据定义上限、算法决定效率、算力保障下限"。

这个判断有三个观察支撑。第一，算力的边际收益在递减。GPT-3 到 GPT-4 的参数增长大约是 10 倍，能力增长却不是 10 倍；同一时期，数据的质量优化带来的能力跃迁反而更明显。Chinchilla 缩放定律（2022 年）已经从理论上证明：在固定算力预算下，模型参数与训练数据的最优配比是 1:20，单纯堆参数而不补数据是低效的。

第二，算法的进步空间相对可预测。Transformer 之后的架构创新（如 Mamba、MoE、状态空间模型）虽然密集出现，但大多是在"如何更高效地利用已有数据"这个维度上做文章，而不是创造新的学习信号。算法的红利还会在，但难以独立支撑下一轮质变。

第三，数据维度的可挖掘空间最大。同样一组模型架构和算力预算，使用不同质量、不同覆盖度、不同对齐方式的数据训练，能力差异可以达到数倍。这就是为什么 OpenAI、Anthropic、Google DeepMind 都在 2023 年之后大幅扩充数据团队的规模，把数据工作从"清洗工种"提升为"核心研发岗位"。

理解这个三要素的重新平衡，是理解后续所有内容的底层逻辑。合成数据和数据飞轮不是简单的技术工具，而是一种"在数据维度上重新定义竞争"的战略选择。

---

1.2 四个核心概念的精确定义与边界

很多读者会把"合成数据"和"数据飞轮"混用，把"数据引擎"和"数据流水线"混用，但本书会非常严格地区分它们，因为这些概念对应的工程实践、团队组织、技术栈完全不同。混淆这些概念，是大多数项目失败的源头——你不知道自己在建什么，自然不知道该招什么样的人。

下面逐一给出可操作的定义，并明确它们之间的关系。

1.2.1 合成数据：从增广样本到生成式范式

合成数据（Synthetic Data） 是指不直接来源于对真实世界事件的观测，而是由算法、模型或规则生成的人造数据。它不要求与真实数据在统计分布上完全一致，只要求在目标任务上具备可用性。

合成数据并非新事物。1990 年代的数据科学家就已经用 Bootstrap、SMOTE 等方法做样本增广。但过去几年的"合成数据"特指由深度生成模型（GAN、VAE、Diffusion、LLM）产出的数据，它的规模、复杂度、可用性与传统增广完全不在一个量级。

按生成方式，合成数据可以分为四类：

1. 基于规则的合成：通过领域知识编写生成规则，如用物理引擎生成自动驾驶场景、用语法模板生成对话。优点是可控、可解释、合规风险低；缺点是覆盖度受限于规则数量。 2. 基于统计模型的合成：用传统统计模型（贝叶斯网络、混合高斯）拟合真实数据分布后采样。优点是数学性质清晰；缺点是难以建模高维复杂数据。 3. 基于神经生成模型的合成：用 GAN、Diffusion、自回归 Transformer 等生成模型产出数据。这是 2022 年之后的主流，优点是质量高、多样性强；缺点是可能继承训练数据中的偏差。 4. 基于世界模型的合成：用具备物理理解、因果推理能力的"世界模型"生成数据，如用游戏引擎 + LLM 构造交互式合成数据。这是当前的前沿方向，优点是可生成具有时间连续性的复杂数据；缺点是工程复杂度高。

判断一份数据是否属于"合成数据"的关键，不是看它像不像真实数据，而是看它的产生过程是否经过了对真实世界的观测采样。 一段由 GPT-4 生成的对话是合成数据，即使它和真实对话几乎无法区分；一张用 Photoshop 手工绘制的图像也是合成数据，即使它完全是人工的。

1.2.2 合成样本：细粒度、可控的数据单元

合成样本（Synthetic Sample） 是合成数据的最小可控单元。它强调的是"单个样本的可控性"，而不是"整个数据集的生成过程"。

为什么要单独提出这个概念？因为在工程实践中，你经常需要的不只是"一批数据"，而是"某种特定类型、特定难度、特定属性的单个样本"。比如训练一个客服机器人，你可能需要的不只是 10000 条对话，而是"在用户极度愤怒、问题涉及退款政策、且用户多次打断"这种特定条件下的对话样本。

合成样本的核心特征是可参数化、可检索、可复现。它通常由以下几部分组成：

• **元数据描述**：定义这个样本的属性、难度、适用场景。
• **生成函数或模板**：从元数据到具体样本的映射逻辑。
• **质量验证信号**：自动评估这个样本是否符合预期。
• **可复现种子**：记录生成过程的随机种子，确保可以重生成。

合成样本是"数据即代码"理念的具体载体。 当你可以用代码生成任意一个特定样本时，你就拥有了对数据集合的完全控制权——你可以随时扩充长尾、修补漏洞、平衡分布。这是传统数据收集方式永远做不到的事情。

1.2.3 数据引擎：生产数据的工程系统

数据引擎（Data Engine） 是持续生产、评估、迭代数据的工程系统。它不是单次的数据生成脚本，而是一个长期运行、具备反馈闭环的系统。

一个完整的数据引擎至少包含五个核心模块：

1. 数据生成器（Generator）：基于规则、模型或世界模型，产出候选样本。 2. 数据评估器（Evaluator）：对生成的样本做质量打分，判断其可用性。评估器本身通常也是一个机器学习模型，或者基于强模型的自动评分。 3. 数据筛选器（Filter）：根据评估结果对样本做保留、修改、丢弃的决策。 4. 数据标注器（Annotator）：对保留下来的样本做必要的标注，如难度标签、领域标签、答案标签。 5. 数据存储与检索（Storage & Retrieval）：把合格样本纳入数据池，支持后续训练时的精确检索。

数据引擎和传统 ETL 数据流水线的根本区别在于：ETL 是把已有数据搬运、清洗、入库；数据引擎是从无到有地生产新数据，并且这个生产过程本身会被持续优化。 一个成熟的数据引擎往往在一年内会迭代几十个版本，生成器的架构、评估器的标准、筛选器的策略都会随时间演进。

1.2.4 数据飞轮：让数据越用越多的闭环机制

数据飞轮（Data Flywheel） 是由数据引擎驱动的、让数据资产在使用过程中不断增长的闭环机制。它的核心思想是：模型在使用中产生新数据，新数据反哺训练更强的模型，更强的模型又产生更有价值的新数据。 这种正反馈一旦建立起来，数据资产会指数级增长，构成强大的竞争壁垒。

数据飞轮的概念借自商业中的"飞轮效应"（Jim Collins, 2001），但在 AI 语境下有更具体的工程含义。一个有效的 AI 数据飞轮通常包含以下环节：

1. 模型部署：把当前最优模型部署到生产环境，对外提供服务。 2. 数据回流：收集模型在实际使用中产生的输入输出、用户反馈、错误案例。 3. 数据加工：把这些原始回流数据送入数据引擎，加工成高质量训练样本。 4. 模型训练：用加工后的数据训练下一代模型。 5. 回到第 1 步：用更强的模型替换部署的模型，开始新的循环。

数据飞轮和"数据闭环"经常被混用，但严格来说，闭环强调的是"信息的反馈路径"，飞轮强调的是"系统的加速特性"。 闭环可以是慢的、弱的；飞轮必须是快速、有效、正反馈明显的。判断一个系统是否构成数据飞轮的标准是：经过 N 轮迭代后，数据资产的规模、质量、多样性是否都比上一轮有显著提升，并且这种提升是非线性的。

1.2.5 四者关系图谱

下图展示了真实数据、合成数据、数据引擎、数据飞轮四者之间的演化与依赖关系：

```mermaid flowchart LR A[真实数据] --> B[数据引擎] C[合成数据] --> B B --> D[数据飞轮] D --> A D --> C D --> E[更强模型] E --> B ```

这张图的读法是：真实数据和合成数据是数据引擎的两类原料；数据引擎是数据飞轮的动力单元；数据飞轮通过反哺更强模型，间接提升了真实数据采集和合成数据生成的质量。 任何一环缺失，飞轮都无法转动。

---

1.3 头部企业数据策略的演进路径：从爬取到合成到闭环

理解概念的最好方式是看真实的企业如何选择。下面用三个典型代表（OpenAI、Meta、Anthropic）和一个行业案例（自动驾驶）来展示数据策略的演进。

1.3.1 GPT 系列：从 Common Crawl 到多源混合的演进

OpenAI 的 GPT 系列是观察数据策略演进的最佳样本，因为它的每一代都公开发表了相对详细的训练数据描述。

GPT-2（2019 年）：单一来源为主。 训练数据主要来自 Reddit 链接的高赞网页（WebText 数据集，约 40GB 文本）。这个阶段的数据策略是"找到一片还算干净的网页池，清洗后直接用"。没有复杂的合成、没有用户回流、也没有专门的数据团队对外披露。

GPT-3（2020 年）：多源混合 + 质量加权。 训练数据包括 Common Crawl、WebText2、Books1/2、Wikipedia 等多个来源，混合比例经过精心调优。关键创新是引入了"基于高质量参考数据集的质量加权"——用一个高质量小数据集训练一个分类器，对 Common Crawl 的网页做质量打分，只保留分数高的部分。这个阶段的数据策略从"清洗"升级到"筛选"，但仍然是"取自真实世界"的范畴。

GPT-3.5 / GPT-4（2022—2023 年）：RLHF 与合成数据的引入。 训练数据的来源从"公共互联网"扩展到"人类标注员 + 模型生成"。RLHF（Reinforcement Learning from Human Feedback）的训练数据本质上是合成数据——由人类标注员构造的、专门用于对齐的 prompt-response 对。同时，OpenAI 大量使用了"模型自己生成候选答案、人类排序"的工作流，这本身就是一种合成数据生产方式。

GPT-4o 之后（2024 年）：多模态回流与合成占比上升。 这一代的数据策略虽然没有完整披露，但根据招聘信息、专利申请、合作伙伴披露可以推断：多模态数据的合成占比显著上升，语音、视频、实时交互数据的采集和合成成为重点。可以预见，未来的 GPT 模型训练数据中，合成数据占比会持续上升，可能在某些任务上超过 50%。

OpenAI 的演进路径揭示了一个清晰趋势：数据策略从"取自真实"逐步演变为"取自真实 + 生成于模型 + 反馈于用户"的混合模式。 这个演进的每一步都伴随着对数据质量、数据多样性的更精细控制。

1.3.2 LLaMA 系列：开源透明化的数据策略

Meta 的 LLaMA 系列是另一个重要的观察样本，因为它以论文形式公开了相对完整的数据细节，使得我们可以做精确分析。

LLaMA-1（2023 年 2 月）：七源数据 + 明确占比。 训练数据包括 CommonCrawl、C4、Github、Wikipedia、Books、ArXiv、StackExchange 七个来源，每个来源的占比、采样温度、过滤规则都在论文中明确披露。这种透明化本身就是一种数据策略——通过公开数据配方，降低社区复现门槛，反哺生态。

LLaMA-2（2023 年 7 月）：新增合成对话数据。 在预训练数据保持类似构成的同时，LLaMA-2 Chat 版本引入了大量合成对话数据用于对齐训练。这部分数据由 Meta 内部的 Llama-2-Chat 模型自身生成，并经过人类标注员的筛选和排序。

LLaMA-3（2024 年 4 月）：规模跃迁 + 多模态合成。 训练数据规模达到 15T token，是 LLaMA-2 的 7 倍。其中一个关键变化是多语言数据的显著扩充和代码数据的精细化处理。在多模态版本中，图像-文本对的合成数据被大量使用，特别是用 Llama-3 自身生成图像描述，用扩散模型生成训练图像。

LLaMA 系列的策略给行业带来两个重要启示：第一，合成数据不是替代真实数据，而是在真实数据基础上做增强和补充；第二，数据的透明化本身可以成为竞争策略的一部分，因为透明化建立的是生态壁垒，而不是单纯的技术壁垒。

1.3.3 Claude 系列：宪法式对齐与数据治理

Anthropic 的 Claude 系列是观察"数据治理"维度的最佳样本。它在数据策略上的独特性体现在三个方面。

第一，对训练数据来源的严格筛选。 Anthropic 公开声明其训练数据经过了版权、合规、安全性的多重审查，拒绝使用未经授权的版权材料。这种"数据洁癖"虽然限制了数据规模，但带来了合规优势和品牌信任。

**第二，"宪法 AI"（Constitutional AI）方法本