AI时代的数据饥渴：为什么我们需要合成数据 / The Data Hunger of AI: Why We Need Synthetic Data
AI时代的数据饥渴：为什么我们需要合成数据
The Data Hunger of AI: Why We Need Synthetic Data
过去三年，大语言模型的能力像坐上了火箭——从勉强写出通顺句子的 GPT-2，到能写代码、做分析、答法律问题的 GPT-4，再到能"看懂"图像、"听懂"语音的多模态大模型，AI 似乎每隔几个月就完成一次跃迁。然而，进入 2024 年之后，几乎所有顶尖实验室的公开报告里都开始出现同一个词：数据墙（Data Wall）。这条墙不是某一天突然出现的，它早在 2020 年就埋下了种子——只是当时所有人都在为"模型不够大"而焦虑，没人注意到"数据不够用"的问题。
本书的第一章要回答一个最根本的问题：为什么在大模型时代，真实数据已经不够用了？合成数据为什么从"锦上添花的实验"变成了"不得不走的路"？ 我们会从三个真实存在的"墙"说起：数据量的物理上限、隐私法规的法律约束、数据获取的成本压力。这三面墙共同把整个行业逼向了一个共同的答案——合成数据（Synthetic Data）。
核心观点 / Key Takeaway：合成数据不是某个公司的营销噱头，而是 AI 行业在"真实数据"与"模型能力"之间矛盾激化到临界点之后的必然产物。理解这一必然性，是理解后续所有合成数据技术细节的前提。
---
1.1 数据墙正在逼近：互联网文本即将耗尽
The Approaching Data Wall: Internet Text Will Be Exhausted
核心问题 / Key Question：如果把全世界的网页、电子书、新闻、论文、代码都收集起来，到底有多少"可用于训练大模型"的文本？这个数字是无限的吗？
一、一个被忽视的事实：训练数据是有限的
很多人会下意识地觉得：互联网这么大，文本数据怎么会用完？然而，专攻 AI 发展趋势的机构 Epoch AI 给出了一个反直觉的预测——高质量公共文本数据（High-Quality Public Text Data）将在 2026 年前后 出现明显的供给瓶颈；到了 2030 年至 2050 年之间，即便是包含低质量数据在内的全部"机器可读"语料，也会被训练完一遍。
这个判断的依据是：研究人员粗略统计了 Common Crawl、Wikipedia、GitHub、arXiv、Stack Exchange、Reddit 等主要数据源，把它们合并去重后得到的高质量 token 总量大约是 300 万亿（30 trillion） 左右。如果再放宽标准，把所有"机器可读"网页、扫描电子书、社交媒体帖子都算进去，也不过 900 万亿至 1700 万亿 token。
这个数字听起来仍然很大，但和当前模型的"胃口"比起来就相形见绌了。GPT-3 的训练数据大约是 3000 亿 token，GPT-4 据传达到 13 万亿 token，而下一代模型的目标是 100 万亿到 1000 万亿 token。换句话说，整个互联网的"高质量"文本总和，还不够训练 10 次下一代旗舰模型。
二、为什么大模型这么"能吃"？
要理解数据墙的根源，必须理解缩放定律（Scaling Laws）。2020 年，OpenAI 的 Kaplan 等人和 DeepMind 的 Hoffmann 等人分别独立发现：当模型的参数量、训练数据量、计算量同步增加时，模型在下游任务上的损失会按照可预测的幂律（Power Law）下降。简单说，模型越大、数据越多、算力越强，效果就越好，且这种关系是数学上可预测的。
这条定律给整个行业注入了一针兴奋剂：从 2020 年到 2023 年，所有头部实验室都在做同一件事——把参数从十亿级推到百亿级、千亿级，把训练 token 从千亿级推到万亿级、十万亿级。模型能力确实在飞速提升，但代价是数据消耗的指数级增长。
更深层的问题在于：单纯增加参数已经不够了。在 2023 年之后的多个实验中，研究者发现当数据不再"线性增长"时，再大的模型也会遇到收益递减。真正能继续提升模型能力的，是数据。于是矛盾出现了：模型越强大，它需要的数据越多；但数据并不是无限的。
三、"数据荒"已经在发生
事实上，"数据荒"早就不是什么理论预测，而是行业内的日常现实：
- **Common Crawl 抓取放缓**：Common Crawl 是当前几乎所有大模型训练数据的最大单一来源，每月抓取约 200 亿个网页。但近三年新增网页的增速远低于模型数据需求的增速。抓取到的网页里，**有 50% 以上是重复或近似重复的模板页面**（比如自动生成的电商列表、SEO 农场内容），真正能用于训练的"干净 token"在新增数据中的比例越来越低。
- **Wikipedia 增长停滞**：作为高质量知识来源的 Wikipedia，英文版 2020 年后新增条目数明显放缓，多个语种趋于饱和。Wikipedia 一年新增的"高质量 token"还不到 GPT-4 训练集的 1%。
- **代码数据见顶**：GitHub 上的公开代码库虽然仍在增长，但训练价值最高的部分——高质量、注释完整、有清晰上下文的代码——主要集中在头部开源项目。长尾代码要么是 fork 出来的重复版本，要么是低质量的个人练习，对模型能力提升的帮助有限。
四、多模态数据加剧了饥渴
如果说文本数据是在"缓慢耗尽"，那多模态数据的短缺更加触目惊心。多模态大模型（Multimodal Large Model）需要的不只是文字，还需要图像-文本对、视频-文本对、音频-文本对、3D 点云-文本对。这些数据的总量比纯文本小得多，但清洗、配对、标注的成本却高得多。
以图像-文本对为例，开源可用的 LAION-5B（约 58 亿对）曾是图像生成模型（如 Stable Diffusion）的关键数据源。2023 年，由于 LAION 数据集中被发现包含大量违法和不当内容，整个数据集一度被下线，引发了图像生成领域的"数据地震"。而要重新整理出一个质量相当、规模相当、且法律合规的新数据集，是一项耗资巨大的工程。
小结：数据墙不是"未来某一天会撞上的墙"，而是"今天正在以年为单位逼近的墙"。它由三个具体现象构成：高质量文本总量有限、新增数据质量下降、多模态数据短缺。要继续推动大模型能力向前发展，必须找到新数据源。
---
1.2 隐私之墙：法规如何重塑数据使用规则
The Privacy Wall: How Regulations Are Reshaping Data Usage
核心问题 / Key Question：即使互联网上还有大量数据可以抓取，是否所有数据都能被用于训练大模型？
一、GDPR 拉开了"数据隐私时代"的序幕
2018 年 5 月 25 日，欧盟《通用数据保护条例》（General Data Protection Regulation, GDPR）正式生效。这部法律的影响远远超出了欧盟边界——任何服务欧盟用户、收集欧盟数据的企业都必须遵守，否则将面临最高 2000 万欧元或全球营收 4% 的罚款（取高者）。
GDPR 的核心是七项数据主体权利，包括知情权、访问权、更正权、删除权（被遗忘权）、限制处理权、数据可携权、反对权。其中"被遗忘权"和"反对权"对 AI 训练影响最大：如果一个欧盟用户要求企业删除其个人数据或反对其数据被用于自动化决策，企业必须在技术上真正删除该用户的数据，并停止相关处理。
这意味着，任何用真实用户数据训练的大模型，都可能面临"训练完还要能删"的技术挑战。这听起来像是矛盾——模型已经把数据"学"进去了，怎么可能"删除"？这就是当前 AI 领域最热的研究方向之一：机器学习中的机器遗忘（Machine Unlearning）。
二、美国加州的"CCPA 效应"
2020 年 1 月 1 日，加州《消费者隐私法案》（California Consumer Privacy Act, CCPA）正式生效。它的核心理念与 GDPR 类似，赋予了加州居民查看、删除、退出数据销售的权利。CCPA 之后，美国其他州纷纷效仿：弗吉尼亚州（VCDPA）、科罗拉多州（ColoPA）、康涅狄格州（CTDPA）、犹他州（UCPA）等相继出台类似法律。
美国虽然没有联邦层面的统一数据法，但州级法律的拼图效应已经让"美国数据"变得越来越难用。对于跨国大模型公司来说，美国数据已经不再是一个统一的法域，而是 50 多个州的"数据法律组合"。
三、中国《个人信息保护法》的"长臂管辖"
2021 年 11 月 1 日，中国《个人信息保护法》（Personal Information Protection Law, PIPL）正式实施。这部法律在很多条款上借鉴了 GDPR，但有两点显著差异：
1. 数据本地化要求：在中国境内收集和产生的个人信息，原则上应当在境内存储；确需向境外提供的，应当通过国家网信部门组织的安全评估。 2. 更严格的"告知-同意"要求：处理个人信息必须取得个人的"单独同意"，敏感个人信息（如生物识别、医疗健康、金融账户、行踪轨迹等）还需取得"单独书面同意"。
PIPL 还规定了最高 5000 万元人民币或上一年度营业额 5% 的罚款。这一比例比 GDPR 还要严格。
四、三个典型案例：监管不是"纸老虎"
- **意大利禁令**（2023 年 3 月）：意大利数据保护机构 Garante 以"未告知用户其数据将被用于训练 GPT"为由，下令 OpenAI 暂时禁止 ChatGPT 在意大利提供服务。OpenAI 随后通过增加透明度和用户控制选项才得以恢复服务。
- **加拿大隐私专员调查**（2023 年）：加拿大隐私专员办公室对 OpenAI 发起调查，认定其"未经同意收集、使用和披露个人信息"，要求其整改。
- **中国生成式 AI 管理办法**（2023 年 8 月）：中国国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》，明确要求**使用的数据应当为合法来源**，涉及个人信息的应当取得个人同意或符合其他法定情形。
这些事件传递的信号非常明确：未经授权使用用户数据训练 AI，已经从"灰色地带"变成了"高风险行为"。对于任何一个严肃的 AI 项目来说，"我们的训练数据合规吗"已经从可选项变成了必答题。
五、"合规成本"成为 AI 公司的新负担
合规要求直接转化为成本。每一个 AI 项目现在都需要：
1. 数据来源审计：每一类训练数据都需要追溯到合法来源； 2. 用户同意机制：如果使用用户数据，需要有合法的同意基础； 3. 数据脱敏和匿名化：在数据进入训练流水线之前，删除或匿名化个人识别信息； 4. 跨境数据传输合规：涉及跨境数据流转的，需要完成安全评估、标准合同备案等手续； 5. 持续合规审计：监管机构可能随时检查，违规成本巨大。
对于小公司和创业团队来说，这套合规体系的建设和维护成本往往是其整体预算的 10%—30%。
小结：隐私法规不是抽象的法律条文，而是直接影响 AI 训练"什么数据能用、什么数据不能用、用了会有什么后果"的硬约束。在 GDPR、CCPA、PIPL 三大法域的共同约束下，真实数据越来越"贵"和"难用"。
---
1.3 成本之墙：高质量数据越来越贵
The Cost Wall: High-Quality Data Is Becoming More Expensive
核心问题 / Key Question：即使数据是公开的、合法可用的，获取它需要花多少钱？
一、"数据免费"幻觉的破灭
在很长一段时间里，研究者普遍认为互联网数据是免费的——爬虫一跑，数据就有了。但实际上，真正可用于训练大模型的高质量数据，从来都不是免费的。它的成本来自以下几个方面：
1. 抓取成本：维护大规模分布式爬虫系统、处理反爬机制、清洗 HTML 垃圾标签、识别验证码——这些都需要专业的工程团队。Common Crawl 这样的非营利组织每年运营成本也高达数百万美元。 2. 存储成本：原始网页数据去重前是 PB 级别（1 PB = 1000 TB），经过清洗、过滤、配对后才能进入训练流水线。存储和计算的开销是真实存在的。 3. 标注成本：监督学习（Supervised Learning）需要大量人工标注的数据。简单分类标注（如判断评论是正面还是负面）成本约 $0.01-$0.05/条；但复杂标注（如医学影像分割、法律文书要素抽取）可达 $1-$10/条甚至更高。 4. 许可成本：随着 AI 商业化加速，越来越多的数据源开始"收费"。新闻网站、出版商、代码平台、社交媒体纷纷推出"数据许可"模式，价格不一。
二、Reddit API 事件：一个标志性转折
2023 年 4 月，Reddit 宣布对其 API 收费，引发了一场行业风暴。此前，Reddit 数据被大量用于训练大模型且几乎免费；之后，企业级 API 调用价格大幅上涨。许多依赖 Reddit 数据的第三方应用（如著名的 Apollo 等）因无力承担成本而关闭。
Reddit API 事件传递的信号是："开放数据"时代已经结束，"数据资产化"时代正式开始。类似的趋势迅速蔓延：
- Twitter/X：API 价格大幅上涨，限制了学术研究使用；
- Stack Overflow：与 OpenAI 签订数据许可协议；
- 多家新闻集团：与 OpenAI、Microsoft 等签订付费内容协议；
- 图书出版商：开始重新审视"图书数据"是否可用于 AI 训练。
三、人工标注服务的"通胀"
对于需要人工标注的数据，成本的上升更为明显。Scale AI、Surge AI、Labelbox 等专业数据标注平台的报价逐年上涨。一个有趣的现象是：随着 AI 能力提升，标注任务的复杂度也在提升——简单的分类、提取任务可以交给模型预标注，但最终的"高质量标注"仍然需要人类专家，这部分成本不降反升。
以医学领域为例，标注一张高质量的医学影像问答对（包括专业医生审核）需要 $5-$50；标注一个详细的内科病例需要 $100-$500。整个医疗大模型的数据集，动辄需要数十万到数百万这样的样本，总成本可达数千万到数亿美元。
四、隐形成本：数据清洗与质量控制
最后，"原始数据"和"可用数据"之间还有一道巨大的鸿沟。数据清洗（Data Cleaning）、去重（Deduplication）、去毒（Detoxification）、质量过滤（Quality Filtering）——这些步骤的工程量往往比抓取原始数据本身还要大。Meta 在训练 Llama 2 时公开的数据显示，其数据流水线中过滤掉的 token 数量超过了最终进入训练的 token 数量。
小结：高质量数据的获取成本正在快速攀升。免费数据正在消失，付费数据正在成为常态。这不仅是经济问题，更是 AI 行业的"卡脖子"问题——有再多算力、再多模型架构创新，没有数据也跑不起来。
---
1.4 三大压力汇聚：合成数据为何成为必然
The Convergence of Three Pressures: Why Synthetic Data Is Inevitable
让我们用一张图把前面讨论的"三面墙"整合起来。
```mermaid flowchart TD A[真实数据的供给危机] --> B[数据量瓶颈] A --> C[隐私合规约束] A --> D[获取成本攀升] B --> E[合成数据引擎] C --> E D --> E E --> F[扩量] E --> G[降本] E --> H[保隐私] F --> I[大模型持续进化] G --> I H --> I ```
这张图清晰地展示了合成数据产生的逻辑：当数据量、隐私、成本三面墙同时收紧时，合成数据就成为唯一可以同时突破三道关卡的方案。它对应的正是合成数据的三大核心价值——扩量、降本、保隐私。
一、扩量：突破物理上限
合成数据最直接的价值是为模型提供"几乎无限"的训练样本。一个强大的大模型可以根据规则、统计分布或真实数据"风格"生成新数据，理论上生成多少都可以。Llama 3、Gemini 等顶级模型的训练数据中，合成数据的占比已经达到可观的比例。
更重要的是，合成数据可以做到真实数据难以做到的事：
- **长尾场景覆盖**：真实数据中罕见但重要的场景（如某些医疗罕见病、极端天气案例），可以由合成数据系统性地补足；
- **平衡数据分布**：在分类任务中，真实数据往往类别不均衡（少数类样本很少），合成数据可以人为控制各类别比例；
- **多语言、多模态扩展**：合成数据可以批量生成低资源语言的样本，缓解全球 AI 发展的"语言鸿沟"。
二、降本：显著降低数据获取成本
合成数据的边际成本几乎为零。一旦建立好生成模型，每生成一万条新样本的额外成本，主要是计算资源消耗，比人工采集、标注便宜一到两个数量级。
举个具体例子：
- **真实方式**：人工编写 1000 道数学应用题并配详细解答，需要 $5000-$10000；
- **合成方式**：基于已有题目风格，让大模型生成 1000 道类似题目并自动生成解答，单次成本 < $50（主要是 API 调用费或 GPU 电费）。
100 倍的成本差距，这就是合成数据"降本"能力的具体体现。
三、保隐私：天然规避法规风险
合成数据是"人工生成的、不是直接来自真实个人"的数据，不直接包含个人识别信息（Personal Identifiable Information, PII）。只要生成过程控制得当，理论上可以做到"无隐私风险"。
在医疗、金融、教育等强监管领域，真实数据往往无法获得或使用成本极高。合成数据让这些场景的 AI 研发得以继续推进。例如：
- 训练糖尿病视网膜病变检测模型：医院数据涉及患者隐私，几乎不可能大规模共享。合成医学影像则可大规模生成、跨机构共享。
- 训练信贷违约预测模型：金融机构数据高度敏感。合成数据可以在保留统计特征的同时避免直接使用客户数据。
四、合成数据的"反直觉"特性
值得强调的是，合成数据不是"假数据"。"假数据"通常指完全虚构