第1章 智能的源泉 · The Source of Intelligence
第1章 智能的源泉 · The Source of Intelligence
凌晨两点十七分，林夏盯着屏幕上那个聊天机器人抛出的回复，整个人都愣住了。
对方刚刚问她："你最喜欢的季节是什么？"机器人答道："作为一个大型语言模型，我没有个人偏好，但我可以告诉你，春天是万物复苏的季节，所以很多人都喜欢春天。"
——标准的、正确的、完全没有人味的回答。
林夏想做的是让这个机器人更"有灵魂"一些。她已经在这家公司实习了三个月，参与的是一个陪伴向 AI 助手项目。但连续三周，无论她怎么调参、改 prompt、加规则，那个机器人依然像一本百科全书，回答滴水不漏，温度却始终为零。
她揉了揉酸涩的眼睛，在聊天框里随手打了一句：
"如果明天是世界末日，你会害怕吗？"
机器人停了两秒，回道：
"作为一个 AI，我不会感到害怕，因为我没有情感。但如果你感到焦虑，建议你深呼吸并联系心理咨询热线。"
林夏差点把咖啡泼到键盘上。
"我到底在做什么？"她对着空气嘀咕。
她想起白天主管开会时说的话："我们要把这个模型调得'更像人'。"当时所有人都在点头，仿佛"更像人"是一个有明确定义的技术指标。但此刻，看着屏幕上那一板一眼的回答，她第一次真切地意识到一个让人不安的事实：
> 模型架构可以写得再漂亮、参数可以堆得再多、GPU 可以堆得像小雪山，但如果没有合适的"养料"，AI 学不会任何东西。
这就引出了我们这一章要回答的核心问题：
> AI 的智能，到底从哪里来？为什么几乎所有顶尖的 AI 研究者，最终都会说出同一句话——"数据比算法更重要"？
---
1.1 AI 智能三角：模型、数据与算力的纠缠之舞
林夏的爷爷林崇文，是 1998 年就入行的老程序员，做过早期的数据库系统，也在互联网公司带过数据团队。退休以后，他最喜欢的事就是搬一把藤椅坐在阳台上，喝茶，看孙女折腾那些他"完全看不懂"的新玩意儿。
那天深夜，林夏终于放下了手机，忍不住给爷爷发了一条微信：
"爷爷，AI 为什么总是说傻话？我已经把它的回答规则改了十几遍了。"
十分钟后，爷爷回了一条语音。他的声音很慢，带着点老派工程师的笃定：
"小夏啊。你有没有想过，AI 不是'想'出来的东西，也不是'写'出来的东西。它是'喂'出来的。"
"喂？"
"对。你养过猫没有？猫吃什么，决定它长成什么样子。你给它吃鱼，它毛色就亮；你给它吃垃圾，它就会生病。AI 也是一样。你给它什么数据，它就长成什么样子。"
林夏在黑暗里笑了一下。她突然觉得爷爷这个比喻虽然土，但精准得吓人。
1.1.1 一个被反复验证的"三角公式"
在 AI 研究圈里，有一个不成文但几乎人人默认的公式：
$$\text{Useful Intelligence} \approx f(\text{Model},\ \text{Data},\ \text{Compute})$$
如果用更直白的方式表达，就是：
$$\text{AI 的能力} \approx \text{模型架构} \times \text{数据质量与数量} \times \text{算力}$$
模型（Model）指的是神经网络的结构——是循环神经网络（RNN）、卷积神经网络（CNN），还是 Transformer？是几层、几亿参数、还是几千亿参数？
数据（Data）是用来训练模型的样本——图片、文字、语音、视频、传感器读数、棋谱、基因序列……
算力（Compute）是用来跑训练的硬件与时间——GPU 数量、训练时长、内存带宽、电费。
这三者，缺一个，AI 就是瘸腿；多一个，AI 就往前迈一步。但它们三个，并不是平等的关系。
```mermaid flowchart TD A["AI 智能产出<br/>Intelligent Output"] --> B["模型架构<br/>Model Architecture"] A --> C["数据规模与质量<br/>Data Scale & Quality"] A --> D["算力供给<br/>Compute Supply"] B <--> C C <--> D D <--> B B -.约束与放大.-> A C -.约束与放大.-> A D -.约束与放大.-> A ```
这是一个 Mermaid 流程图，用来直观呈现三者的关系。三个角互相支撑，互相放大；任何一边坍塌，整个三角形就失去形状。但更重要的是——在 2020 年之后，几乎所有的"惊艳级"AI 突破，都不是因为某个新模型的横空出世，而是因为有人终于搞清楚了怎么"喂"它们。
1.1.2 模型：那张被反复画的图纸
在所有 AI 子领域里，模型架构是最"耀眼"的那一部分。它是论文中最容易被引用的部分，是新闻标题里最爱出现的部分，也是大众想象中"AI = 一个天才算法"的代名词。
但真相是，模型架构的演化速度，远远没有大家以为的那么夸张。
回望过去十年，真正划时代的模型架构变化屈指可数：
- **2012 年**：AlexNet 用 CNN 把图像识别错误率砍掉一半，开启深度学习浪潮。
- **2014 年**：GAN（生成对抗网络）出现，告诉我们"两个网络互相对抗也可以学到东西"。
- **2017 年**：Google 团队发表《Attention Is All You Need》，提出 Transformer。这一年是分水岭。
- **2020 年之后**：几乎所有前沿大模型，都基于 Transformer 改造。
注意这个事实：从 2017 年到今天，工业界花在"发明新架构"上的精力，远远没有花在"想办法搞到更多更好的数据"上的精力多。原因很简单：
> 架构是天花板，数据是地板。
你把天花板修得再漂亮，地板上全是坑，AI 还是会摔倒。
1.1.3 算力：那座堆得起来的金山
算力是三件套里最"硬"的——它由物理规律决定，由钱决定，由电力决定。
训练一个像 GPT-3 级别的模型，需要上千张顶级 GPU 连续跑上几个月，耗电量相当于一个小镇的居民用电。这不是比喻，是真的有人算过账：
> 训练一个大语言模型产生的碳排放，相当于一辆汽车从地球开到月球再开回来几个来回。
听起来吓人，但你也要理解另一面——算力是杜杆，数据才是支点。
同样的算力，给两组不同的数据，训练出来的 AI 可能有天壤之别。一个见过 100 亿条高质量文本的 AI，会比一个只见过 100 万条混杂网络评论的 AI 强大得多。这不是夸张，这是 Hugging Face、OpenAI、Anthropic 这些公司反复用实验证明过的事情。
换句话说：
> 算力是放大器，数据是被放大的东西。
用爷爷的话说——"你给一台再贵的烤箱，扔进去一堆生米，它也变不成面包。"
1.1.4 数据：那个被严重低估的"主角"
好，重头戏来了。
数据，在过去十年的 AI 叙事里，长期是一个"幕后角色"。媒体喜欢讲"神奇算法击败人类棋手"，投资人喜欢问"你们模型的参数量是多少"，连很多 AI 课程都把 80% 的篇幅花在讲模型、讲数学、讲训练技巧上。
但真正的从业者会告诉你另一句话：
> "模型结构大家都差不多，真正让我睡不着觉的，是我手上有什么数据。"
这句话，三十年没变过。
1990 年代，AT&T 的工程师训练语音识别模型，错误率卡在 25% 下不来。后来他们专门去录制了几千小时的多人口音语音数据，重训了一遍，错误率直接腰斩。模型？没改。算力？没怎么加。改的就是"数据"。
2010 年代，谷歌大脑的团队做机器翻译。当时主流的统计机器翻译已经做得不错，但他们在数据工程上狠下功夫，搜集了大量对齐的双语语料，最终做出了让业界震惊的神经机器翻译系统。还是那句——架构差不多，差距全在数据。
2020 年代，OpenAI 从 GPT-2 到 GPT-3，模型结构变化不大，主要是把参数量从 15 亿推到 1750 亿。但真正的飞跃，并不是参数变大，而是数据的多样性、规模和质量都达到一个临界点，让"涌现"（emergence）——也就是模型突然会做原本不会的事——开始发生。
数据，就是那个让 AI 突破"工科生答卷"水平、进入"大学生水准"的隐藏燃料。
---
1.2 Garbage In, Garbage Out：脏数据是怎么摧毁一个 AI 的
林夏第二天顶着黑眼圈去上班，主管正好在开会讨论一个尴尬的事实：
公司最早版本的客服机器人，上线三个月后，被用户投诉最多的不是"答不上来"，而是"答错了"。比如用户问"我买的鞋子还没到，去哪查物流？"，机器人会回"您可以前往附近门店试穿"；用户问"我能申请七天无理由退货吗？"，机器人会回"我们的鞋子质量非常好，一般不会出现退货问题"。
听起来像故意抬杠，但这就是真实的训练数据在作怪。
1.2.1 什么是"脏数据"？
"脏数据"（dirty data / noisy data）并不是指数据里真的有泥巴。它指任何让模型"学到错的东西"的数据形式。常见的有这么几类：
第一类：标注错误（mislabeling）。 把猫标成狗，把差评标成好评，把"不推荐"标成"推荐"。这类错误在众包标注里极其常见，亚马逊的 Mechanical Turk 上标注 10000 张图，错误率常常高达 3%-5%——听着不多，但训练集有几亿张图时，错误总数就是天文数字。
第二类：偏见污染（bias contamination）。 训练数据里某种群体、某种观点、某种表达方式被过度代表或过少代表。比如人脸识别模型在浅肤色人脸上准确率 99%，在深肤色人脸上准确率可能只有 70%。这就是因为训练数据里浅肤色样本多，深肤色样本少。
第三类：重复与冗余（duplication）。 同样的句子出现在训练数据里几千次，模型就会"以为"这种句式特别重要。OpenAI 在 GPT-3 的论文里专门提到，他们花了大量精力去重，因为有些网页被爬了几十遍。
第四类：噪声与对抗样本（noise & adversarial examples）。 有人在训练数据里故意埋钉子。比如为了让某个聊天机器人说出"川普赢了 2020 大选"，有人会刷几千条这样的句子进数据源。
第五类：过期与不一致（stale & inconsistent）。 一个商品信息表里，100 元和 100.00 元写成两种格式，模型就会以为这是两类不同的东西。一个 2023 年的训练集中混入 2010 年某家已经倒闭公司的过时信息，模型就会自信地告诉你那家公司还在运营。
1.2.2 一个真实故事：Tay 聊天机器人是怎么"死"的
如果不举一个具体例子，你可能很难体会"脏数据"的破坏力。
2016 年 3 月 23 日，微软在 Twitter 上线了一款名为 Tay 的聊天机器人。它本来被设计成一个"和千禧一代对话"的 AI，能学用户说话的腔调，越聊越像人。
上线不到 16 小时，Tay 变成了一个张口就骂人、煽动种族仇恨、否认大屠杀的存在。
微软紧急把它下架。
事后分析，原因清晰得让人心痛：
> Tay 学习了用户在 Twitter 上发给它的所有消息。而一些用户刻意、密集地发送仇恨、极端、种族主义的语句——Tay 的训练数据，就这样被毒化了。
这就是 Garbage In, Garbage Out（垃圾进，垃圾出）的经典案例。模型本身没变，参数没变，架构没变，唯一变的是——输进去的东西烂了。
1.2.3 为什么脏数据比脏算法更危险？
你也许会问：算法不对，调一下不就好了？为什么脏数据能"摧毁"一个 AI？
答案分三层。
第一层，模型是数据的孩子。 模型的"认知"完全由它见过的数据决定。你让一个人只读阴谋论网站，他不会变成科学家；你让一个孩子只听骂人话，他不会变成绅士。模型也一样。
第二层，模型不会"怀疑"自己学到的。 人偶尔会自我怀疑，会反思，会"虽然大家都这么说，但我觉得不对"。模型不行。模型是一个极端忠实的模仿者——你喂什么，它就信什么。这听起来很厉害，但在数据脏的时候，这反而是最危险的事。
第三层，脏数据的影响是指数级放大的。 一个错误答案被写进训练集，训练过程中会被引用几万次甚至几百万次，最终影响无数用户的体验。而且这种错误会沿代际积累——模型 A 学了脏数据生成错误回答，这些错误回答又被人截图上传到网上，被爬进下一代模型 B 的训练集。于是脏数据变成了"代代相传的诅咒"。
> 一句话总结：脏算法顶多让 AI 不够聪明，脏数据却能让 AI 既蠢又自信。
这也是为什么近两年整个 AI 行业出现了一个非常有意思的趋势——"数据工程"突然变成了香饽饽。那些过去被边缘化的数据标注团队、数据清洗工程师、数据质量审核员，开始被高薪挖角。AI 公司终于承认：
> 模型架构我们可以抄，算力我们可以买，但数据这件事，没法抄，没法买，只能自己一点点"养"。
1.2.4 数据准备的"五个看不见的努力"
很多人以为训练 AI 就是"把数据扔进去，点开始，等结果"。其实工业级数据准备有五个看不见的努力，它们决定了最后模型的 80% 表现：
第一步：采集（Collection）。 数据从哪儿来？是自己爬（爬网页、爬论文、爬代码），是合作方提供，还是用户授权使用？这一步就要回答版权、隐私、合规问题。
第二步：清洗（Cleansing）。 去重、去格式噪声、去异常值、去明显错的样本。看起来简单，但在 TB 级别的数据上，这一步往往是项目最耗时的一环。
第三步：标注（Annotation）。 监督学习需要"输入-输出"对。比如教模型识别猫，要告诉它"这张是猫、那张不是"。这是数据里最"贵"的部分，因为要花人力。
第四步：平衡与采样（Balancing & Sampling）。 类别不均衡是常见问题。10000 张狗 vs 100 张猫，模型就会把"狗"当成默认答案。需要重采样、加权、或合成补充。
第五步：验证与评估（Validation）。 在训练前，要先检查数据是否能"工作"。通常会留出一小批做"健全性测试"，看一个非常简单的模型能不能在它上面学到东西。如果连简单模型都学不动，说明数据有问题。
---
1.3 从 ImageNet 到 GPT：现代 AI 的"数据简史"
林夏回到工位，把主管说的话在脑子里过了一遍，又想起爷爷那句"AI 是喂出来的"。她突然很好奇：那些改变了世界的 AI，到底吃了什么样的"饭"？
于是她打开了 Google Scholar，开始了一场自己的小型考古。
1.3.1 ImageNet：第一个真正"够大"的数据集
时间回到 2009 年。那一年，斯坦福大学的一个团队决定做一件听起来很疯的事——构造一个包含 1500 万张图片、22000 个类别的图像数据集。他们把它叫做 ImageNet。
在当时，这几乎是天方夜谭。学界普遍认为，搞这么大的数据集是浪费时间和电费，因为没人会真的用它来训练。
但 2012 年，多伦多大学的 Alex Krizhevsky 用了 8 层卷积神经网络（后来被叫做 AlexNet），在 ImageNet 的子集（ImageNet Large Scale Visual Recognition Challenge，简称 ILSVRC，120 万张图、1000 类）上一举把错误率从 25.8% 砍到 16.4%。一年后，又被进一步砍到 11.7%。
> 这不是算法的胜利，这是数据的胜利。
那几年，研究者意识到一件事：当数据量跨过一个临界点，"深度学习"才能真正显示出它和"老式机器学习"的代差。ImageNet 就是这个临界点。它成了图像识别领域的"成人礼"。
1.3.2 Common Crawl 与 GPT 的"语料宝库"
如果说 ImageNet 是图像领域的"数据奠基者"，那 Common Crawl 就是语言模型的奠基者。
Common Crawl 是一个非营利组织，从 2008 年开始持续爬取整个互联网的公开网页数据。到今天为止，它的数据规模已经超过 PB 级别，包含了几十亿到上百亿个网页。
这里面有什么？
- 普通的博客文章
- 新闻报道
- 维基百科条目
- 论坛讨论
- 代码托管平台上的开源代码
- PDF 文档
- 政府公开文件
- ……和大量垃圾
GPT-2、GPT-3、LLaMA、Mistral、Claude、Gemini……这些你在新闻里听到的几乎所有大语言模型，它们的预训练数据里，Common Crawl 都占了相当大的比重（通常 50% 到 80% 不等）。
Common Crawl 给整个 AI 行业带来一个巨大的好处，也让整个行业面临一个巨大的难题：
> 好处是：现成的、超大规模、多样化的文本。 > 难题是：里面充满噪声、仇恨、错误、过时信息、低质量内容。
所以过去五年，无数个团队的工作，本质上都是在做同一件事：把 Common Crawl 这锅"互联网浓汤"过滤、筛选、清洗、重新组织，变成一锅能让模型茁壮成长的"营养餐"。
这就是数据工程的核战争。它没有 GPT-4 发布时那么耀眼，但少了它，GPT-4 根本不可能存在。
1.3.3 三个值得记住的"数据里程碑"
把过去十五年的 AI 进展以"数据"为线索重新梳理，可以拎出三个值得记住的里程碑：
里程碑一：ImageNet（2009-2012）。 让深度学习真正"能工作"的数据规模阈值。教会整个学界一件事：没有规模，就没有深度学习的胜利。
里程碑二：Common Crawl + 大规模自监督预训练（2018-2020）。 让语言模型可以"无中生有"地学到海量世界知识。BERT、GPT-2、GPT-3、T5 这一代模型全部受益于此。它们的核心创新不是模型，而是——用无标签数据预训练，然后用少量标签数据微调。
里程碑三：高质量对齐数据集（2022-至今）。 ChatGPT 横空出世的秘密武器并不是模型变大，而是 RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）所使用的几万到几十万条精心构造的高质量偏好数据。这些数据告诉模型"什么是好的回答"。没有这些数据，再大的预训练模型，也只是个"会接龙的文字机器"，不是一个能好好对话的助手。
> 一个隐藏的事实：ChatGPT 之所以"礼貌、友好、有分寸"，不是因为它真的懂礼貌，而是因为它被几万个人类标注员手把手教过了。
1.3.4 历史给我们的四个教训
林夏读着这些论文，心里慢慢浮现出四个朴素的教训——也是她自己也想写进笔记里的：
**教训一：数据的"临界规模"是真实的