AI是个吃货：为什么数据是新的石油
第 1 章：AI 是个吃货：为什么数据是新的石油
1.1 一个让你脊背发凉的问题：AI 到底是怎么"学会"的？
2022 年 11 月，ChatGPT 突然走红。全球几亿人对着一个聊天框问问题、写情书、编代码、解数学题。一时间，关于"AI 会不会取代人类""AI 会不会统治世界"的讨论铺天盖地。但如果你问一个真正在训练 AI 的人，他可能会告诉你一个让人意外的事实：真正让 AI 头疼的，从来不是模型有多聪明，而是它"吃没吃饱"。
这听起来像一句玩笑，但这是事实。
我们今天看到的每一个会聊天的 AI、每一个能认出猫狗的手机相册、每一辆能在马路上自动行驶的车，本质上都是一个"超级吃货"。它们要"吃"的东西，就是数据。而且，这些数据不是吃一顿就够——AI 是要持续不断地"吃"，吃得越多、消化得越好，表现就越强。
要理解 AI 为什么需要数据，我们得先回答一个更基础的问题：AI 是怎么"学会"一件事的？
很多人把 AI 想得很神秘，觉得它是某种像人脑一样的东西，会"思考""推理""理解"。但如果我们打开它的"黑箱"看一看，会发现它的学习逻辑其实特别朴素——找规律。
举个生活中的例子。
你从来没学过金融，但你可能知道"双十一"之前商品价格会悄悄涨一涨，然后当天再降下来。为什么你知道？因为你"看见过"几次类似的操作。某一年你妈跟你说"别那时候买，贵"，第二年你自己又观察了几次，慢慢你脑子里就有了"节日前涨价"这条规律。
AI 做的事情，本质上和你妈教你"别那时候买"是一样的——从大量样本中归纳出规律。
只不过你妈可能看三五年就总结出了经验，而 AI 可能要"看"几千万条、几亿条样本，才能总结出一条类似的规律。这个过程，在 AI 行业里有个专门的名字，叫做训练（training）。
训练的过程可以简化为三件事：
1. 喂数据：把成千上万条样本（句子、图片、声音、动作）喂给模型。 2. 找规律：模型在这些样本里寻找模式，比如"如果前面出现'今天天气'，后面大概率跟'很好'或者'不好'"。 3. 纠错误：模型预测错了，就调整内部的参数，让下一次预测更准。这个"调整"的过程会重复几百万次、几亿次。
听起来是不是很笨？确实很笨。但这种"笨办法"在数据足够多的时候，效果出奇地好。2010 年代之后，AI 之所以突飞猛进，一个核心原因就是互联网积累了二十多年的数据终于够用了。再加上算力变强、算法变好，三者凑齐，AI 才从"实验室玩具"变成了"全民工具"。
所以这一章我们要回答的核心问题其实是两件事：
- **AI 到底是怎么学习的？**（为什么说"学习"是个拟人化的比喻，真实过程是什么）
- **数据为什么是 AI 的命根子？**（为什么没有数据，模型就是一堆没用的代码）
1.2 把 AI 想象成一个挑食的小孩：它到底"吃"什么？
既然 AI 是"吃货"，那它到底"吃"什么呢？
答案可能比你想象的要多得多。
第一种食物：文字。 互联网上几乎所有你能想到的文字，都可以成为 AI 的食物——新闻报道、维基百科、小说、论文、论坛帖子、产品评论、聊天记录、代码、法律条文……ChatGPT、Claude、文心一言这些"聊天 AI"，主食就是文字。训练 GPT-3 用到的纯文本数据量大约是 570 GB，相当于把《不列颠百科全书》抄了几千遍。这些文字来自 Common Crawl（一个开源的网页抓取项目）、BooksCorpus、维基百科，以及各种各样的互联网语料。
第二种食物：图片。 手机里的照片、社交媒体上的图片、医疗影像、卫星地图、监控截图……这些是图像识别 AI 和多模态 AI 的"粮食"。一个图像识别模型要认出"什么是猫"，可能需要看上百万张标注好"这是猫"的图片。
第三种食物：声音。 语音助手、音乐、播客、有声书、电话录音……AI 要听懂人说话、模仿人说话，需要大量音频数据。训练一个中文语音识别模型，可能需要几万小时的标注语音。
第四种食物：视频。 这是最"重"的食物。一段几分钟的视频包含的图像和声音信息，等于几十张图加几分钟音频。自动驾驶、AI 监控、视频生成模型（比如 Sora）都极度依赖视频数据。
第五种食物：传感器数据。 这是普通人不太接触但极其重要的一类。比如自动驾驶汽车上激光雷达每秒扫描几十万个点，这些点云数据就是 AI 的"食物"。再比如工业设备上的温度、压力、振动传感器，每秒都在产生数据，用来训练预测故障的 AI。
到这里你可能已经发现一个规律：AI 的"食物"几乎涵盖了人类能产生的一切数字化信息。 难怪有人说，数据是 AI 的"血液"或者"氧气"——没有这些数字化的样本，AI 就像一个饿了三天的人，再聪明的脑子也转不动。
但这里有个关键问题：数据是不是越多越好？
严格来说，是的。在大多数场景下，更多的数据确实能让 AI 表现更好。这背后有一个 AI 行业的"潜规则"，叫做规模法则（Scaling Law）。简单来说就是：模型的性能会随着数据量、模型规模、算力的增加而持续提升，而且这种提升往往没有明显的"天花板"。OpenAI 在 2020 年的一篇论文里就系统地验证过这件事——只要数据够多、模型够大、算力够强，AI 就能持续变聪明。
这也是为什么各大科技公司都在"囤数据"。你每次在网站上点同意的 Cookie 协议、每次上传到云相册的照片、每次和客服机器人的对话，都可能成为训练 AI 的"原料"。
但囤数据也有讲究。一个挑食的小孩，吃得多但吃的是垃圾食品，照样长不高。AI 也是如此。
对 AI 来说，数据的"质量"和"数量"同样重要。 一条被人工标注过、错误率低于 1% 的高质量样本，可能抵得上一千条乱七八糟、错漏百出的样本。这就是为什么我们在第 2 章会专门讲"数据到底干不干净"这个问题。
这一节我们先记住一句话：AI 是个挑食的吃货，它什么都吃，但吃多了垃圾会生病。
1.3 数据 → 模型 → 应用：一个看不见的食物链
现在我们已经知道 AI "吃"什么了。但数据被 AI 吃完之后，到底去了哪里？
这里有一个非常重要的链条：数据 → 模型 → 应用。
这三者之间的关系，可以用我们熟悉的一个比喻来理解：
> 数据是肥料，模型是苗，应用是果实。
没有肥料，苗长不出来；苗长出来了，才能开花结果；结了果子，人才能吃到。
第一步：数据是肥料。 一堆原始数据就像一堆堆在仓库里的肥料。可能是爬下来的网页、用户上传的图片、传感器读到的数字。这些数据本身没有用，必须经过清洗、标注、整合，才能成为"可用的肥料"。这个过程叫做数据预处理（Data Preprocessing），包括去重（去掉重复的内容）、清洗（修正错误）、标注（给每条数据打上"这是什么"的标签）等步骤。
第二步：模型是苗。 苗是什么？苗是一株植物。它本身不产生价值，但它是连接肥料和果实的关键。模型（Model）就是 AI 的"苗"。它是一堆数学公式——具体来说是几亿、几十亿个参数——通过训练过程"长"出来。训练的时候，模型把数据当成阳光雨露，把数据里的规律"吸"进自己的参数里。所以我们经常说模型是"在数据上训练出来的"。
第三步：应用是果实。 果实是真正有价值的部分。模型训练好之后，会被部署到各种应用里——聊天机器人、人脸识别门禁、推荐系统、自动驾驶汽车、智能客服……这些就是 AI 给你"结出来的果子"。
下面这张图展示了这条食物链的循环关系：
```mermaid flowchart LR A[原始数据] --> B[数据预处理] B --> C[训练数据集] C --> D[模型训练] D --> E[训练好的模型] E --> F[应用部署] F --> G[用户使用] G --> H[产生新数据] H --> A ```
这张图里有几个关键点值得展开讲：
1. 数据会"循环"。 你用了 AI 应用之后，会产生新的数据。比如你问 ChatGPT 一个问题，ChatGPT 给出回答，这个问答记录又变成了一条新数据，可以被用来训练下一个版本的模型。这就是所谓的数据飞轮（Data Flywheel）：用得越多 → 数据越多 → 模型越好 → 用户越多 → 数据更多。Google、百度、字节跳动这些公司之所以强，很大程度上是因为它们有"飞轮"——用户每天产生海量数据，让它们的搜索、推荐、广告模型越来越精准，新用户又带来更多数据。
2. 模型不是"养一次就完了"。 一个模型上线后，要持续用新数据"喂养"才能保持聪明。这叫做持续训练（Continual Training） 或者 微调（Fine-tuning）。比如一个电商推荐模型，如果三个月不更新，它可能就会推荐过时的商品——因为用户的偏好已经变了。
3. 数据决定模型的天花板。 这是非常重要的一点。我们经常听说"这个 AI 团队很牛，做出了 SOTA（State of the Art，最先进水平）模型"。但内行人都知道，决定 AI 表现的第一要素从来不是算法，而是数据。同样一个模型架构，用 1 亿条数据训练和用 100 亿条数据训练，效果可能差好几个量级。所以 AI 行业有一句名言："Garbage in, garbage out"——垃圾进，垃圾出。再聪明的算法，喂的是垃圾数据，输出的也是垃圾。
到这里你应该明白了：数据是 AI 这棵大树的根。根扎得深不深、土肥不肥，决定了果子甜不甜。
1.4 真实案例：ChatGPT 到底"吃"了多少东西？
讲完抽象原理，我们来看两个具体案例。这两个案例会帮你把"数据对 AI 的重要性"这件事，从书本上的概念变成可以量化的数字。
第一个案例：ChatGPT。
ChatGPT 的"前身"是 GPT-3，一个由 OpenAI 在 2020 年发布的语言模型。我们以 GPT-3 为例，看看一个顶级语言模型到底"吃"了多少数据。
GPT-3 的参数量是 1750 亿。但这不是今天我们要讲的重点。重点是它的训练数据。
根据 OpenAI 发布的论文《Language Models are Few-Shot Learners》，GPT-3 的训练数据来源大致如下：
- **Common Crawl**：一个非营利组织抓取的公开网页数据，包含了互联网上数百亿个网页。GPT-3 用的是其中过滤后的 410 亿 tokens（可以理解为"词"或"字"的单位）。
- **BooksCorpus 和 English Wikipedia**：高质量的书籍和维基百科文本。BooksCorpus 大约 12 亿 tokens，维基百科大约 30 亿 tokens。
- **WebText2、Books1、Books2**：OpenAI 自己爬取和整理的网页和书籍数据。
把所有数据加在一起，GPT-3 训练用到的 token 总量大约是 3000 亿（300B tokens）。
这是个什么概念？
- 一个人一天大约说 1 万字左右。3000 亿 tokens 相当于一个人**不间断说话 8 万多年**。
- 如果打印成 A4 纸，每页 500 字，需要打印 **6000 万页**，摞起来有 6 公里高。
但这还没完。GPT-3 之后的 GPT-4、Gemini、Claude 这些更先进的模型，训练数据量比 GPT-3 还要大几倍甚至几十倍。而且不只是文本数据——还包括图片、视频、音频。
更值得注意的是数据的多样性。
OpenAI 没有公开 GPT-3 训练数据的全部细节，但根据其论文透露，训练数据中包含了几十种语言、上百个领域的内容。有学术论文、有菜谱、有代码、有法律文书、有诗歌、有社交媒体聊天……几乎人类能在互联网上写下的文字，都可能被 GPT-3 看到过。
这给我们什么启示？
启示一：顶级 AI 是用人类知识"喂"出来的。 ChatGPT 之所以能写代码、回答历史问题、模仿鲁迅写文章，不是因为它"聪明"，而是因为它"见过"几千万程序员写的代码、几百万篇历史文章、几亿条鲁迅风格的中文句子。它是个超级"博闻强记"的吃货。
启示二：高质量数据是稀缺的。 GPT-3 训练的时候，研究人员从 45 TB 的原始网页数据中，经过过滤、去重、质量评估，最后只保留了 570 GB 的高质量数据。45 TB → 570 GB，差不多是 80 : 1 的淘汰率。这说明真正"能吃"的数据是稀缺的，大部分互联网内容其实是噪声。
启示三：数据质量比数量更重要。 OpenAI 的工程师后来透露，在训练 GPT-4 的时候，他们花了大量时间清洗数据、去除有害内容、纠正标注错误。一个高质量样本，可能抵得上一千个普通样本。 这也是为什么我们说 AI 是个"挑食的小孩"——它不能吃垃圾。
1.5 真实案例：自动驾驶汽车是怎么"看"懂世界的？
如果说 ChatGPT 让我们看到 AI "吃"数据的规模，那自动驾驶汽车会让我们看到 AI "吃"数据的另一个维度——长尾（Long Tail）。
什么是长尾？
简单说就是罕见但重要的情况。
一个正常的自动驾驶场景，比如"晴天、高速公路、前车减速"，AI 学几百次就能处理得很好。但现实中还有很多罕见情况：暴雨天、路面结冰、行人突然横穿马路、前方有事故车、塑料袋被风吹过马路、施工改道、救护车逆行……这些情况每一类在总驾驶里程中可能只占 0.001%，但对安全性来说，每一个都至关重要。
这就是自动驾驶行业的长尾难题。
一辆自动驾驶汽车要上路，至少需要"见过"上百万个这种罕见场景才能可靠运行。但这些场景在真实驾驶中几年也遇不到几次。所以，特斯拉、Waymo、小鹏、华为这些公司，都在用各种方法"制造"和"收集"这些罕见数据。
方法一：影子模式（Shadow Mode）。
特斯拉的所有量产车上都装有摄像头和传感器。当车主在驾驶时，特斯拉的系统在后台悄悄运行一个"影子"AI——它不控制车辆，但会持续分析驾驶场景，识别"如果我接管会怎么做"和"司机实际怎么做"的差异。当发现 AI 预测和人类操作不一致时，这条数据就会被标记、上传、加入训练集。
这就相当于每辆特斯拉都是一个移动的数据采集器。全球有几百万辆特斯拉在跑，每天能收集几千万公里的驾驶数据。这些数据里藏着大量罕见场景——因为开的车够多，什么奇葩情况都会遇到。
方法二：仿真合成。
真实数据采集太慢，工程师还会用仿真技术人工生成罕见场景。比如在虚拟世界里模拟"一个小孩从停着的公交车后面冲出"，然后让虚拟的 AI 在这个场景里反复练习。这有点类似飞行员的模拟训练舱。
Waymo 在 2023 年公布过一个数据：他们的虚拟驾驶里程累计已经超过了 200 亿英里。这是真实驾驶数据收集几百年都不可能达到的量级。
方法三：数据标注众包。
真实采集的数据是"裸"的——摄像头拍下了一段视频，但 AI 不知道"这段视频里哪个是行人、哪个是红绿灯、哪个是车道线"。需要人工标注。
特斯拉、Waymo 都雇佣了大量的数据标注员。有些人甚至专门标注"罕见的路标"——比如临时改道路牌、破损的交通灯、被雪覆盖的车道线。一张图可能要标注几十个对象，每个对象都要画框、分类、勾画轮廓。
到 2024 年，自动驾驶行业每年在数据标注上的花费超过 10 亿美元。这是个令人震惊的数字——AI 行业为了"喂饱"模型，每年花的钱比很多国家的教育预算还多。
这个案例给我们什么启示？
启示一：AI 的"学习"不是抽象的，是具体的。 自动驾驶 AI 不是"学会了开车"，它是"在几亿个具体场景里学会了怎么应对每个具体场景"。这和人类学习开车不一样——人类靠的是"理解"和"推理"，AI 靠的是"见过"。
启示二：罕见数据比常见数据更值钱。 在自动驾驶行业，"见过暴雨天怎么开"的数据比"见过晴天怎么开"的数据贵十倍不止。这就是数据的价值密度差异——不是所有数据都同等重要。
启示三：数据采集本身就是个工程。 很多人以为 AI 是个"算法问题"，看了特斯拉的案例你就知道，AI 至少有一半是"数据问题"。数据怎么采、怎么标、怎么清洗、怎么组织，是一整套需要工程师团队持续投入的工程。
到这里你应该对"AI 为什么需要数据"这件事有了一个立体化的理解。但还有一个问题没有回答：为什么大家都要把数据比作"石油"？
1.6 数据为什么被叫做"新石油"？
2013 年，《经济学人》发表了一篇封面文章，标题是 "The world's most valuable resource is no longer oil, but data"（世界上最有价值的资源不再是石油，而是数据）。这篇文章在科技圈引起了巨大反响，从此以后，"数据是新的石油"这个比喻就流行开了。
但为什么是石油？这个比喻到底准不准确？
我们来拆解一下这个比喻的三个核心特征。
特征一：稀缺性
石油是有限的。它被埋在地底下，需要投入大量人力物力去勘探、开采。高质量的数据也是有限的。 互联网上的内容虽然多，但真正经过清洗、标注、结构化的高质量数据集是稀缺的。
- 维基百科的中文版本大约有 130 万篇文章——这是经过几千万志愿者编辑的高质量文本。
- 全球每年的医疗影像数据，能经过专业医生标注的可能不到 1%。
- 一个国家的人口数据、地理数据、交通数据，往往是国家级别的战略资源。
所以你看，真正"可用的数据"并不是天上掉下来的，它需要投入人力物力去采集、整理、标注。这一点和石油一样——你不能只看地球上"有"的碳氢化合物，你得找到能开采的油田。
特征二：可加工性
原油没法直接用，要炼成汽油、柴油、塑料才能产生价值。数据也是一样。 原始数据没法直接喂给 AI，必须经过加工：
- **清洗**：去掉重复、错误、敏感信息。
- **标注**：给数据打上"这是什么"的标签。
- **结构化**：把零散的数据组织成 AI 能读取的格式。
- **脱敏**：去掉个人隐私信息，符合法律法规。
一个高质量的数据集，往往要经过几十道工序，花费大量人力。OpenAI 在训练 GPT-3 之前，据传花了几个月时间清洗数据，最终从 45 TB 的"原油"里"炼制"出 570 GB 的"成品油"。
特征三：价值放大性
石油一旦炼成汽油，可以驱动各种机器，产生巨大的经济价值。数据一旦加工好，可以反复使用、产生网络效应。
这就是数据行业最迷人、也最让人警惕的特性：**一份数据可以被使用无数次，而且越用越有价值。