觉醒：AI的'粮食危机'与少年的好奇心
第 1 章 觉醒：AI 的"粮食危机"与少年的好奇心
1.1 高铁上的"读心术"
高铁 G7 次列车从北京南站驶出的那一刻，林夏把手机举到眼前，拇指已经无意识地滑了三下。
她本来想看看窗外的华北平原——三月的小麦刚刚返青，那种生机勃勃的绿色会让她的心跳慢一点。但她没办法停下来，因为此刻小红书 APP 的信息流里，刚刚吐出了第十三条让她心跳加速的视频：一个穿着白大褂的年轻人，正用一只小白鼠演示"心锚效应"——他每按一次蜂鸣器，就喂一颗奶酪球，重复二十次之后，只按蜂鸣器，小白鼠也会分泌唾液。
这正是她课题研究的核心实验。心锚效应，经典条件反射，她已经在文献综述里翻来覆去啃了两个多月。但小红书准确地把这条视频推到了她面前，推送理由写着："基于你最近在『心理学考研』『行为主义』相关内容中的浏览行为"。
林夏的心跳突然慢下来——不是平复下来的那种慢，是后背发凉的那种慢。
她在心里默默地算了一笔账。
她妈妈在上海三甲医院做行政，最近三个月开始担心她——因为她几乎不出门，整天抱着电脑看视频。妈妈以为她在看什么娱乐节目，或者更糟，在和某个人网恋。但她妈妈从来没碰过她的手机。她妈妈甚至不知道"心锚"这两个字怎么写。
可这部手机背后的算法知道。
这不是魔法。这是数学。这是数据。
"G7001 次列车即将到达济南西站——"机械女声打断了她的思绪。她回过神，看着窗外灰扑扑的华北平原，胸腔里忽然涌起一个巨大的、像洞穴一样黑的问题：
那些让我变得"懂事"的算法，真的懂我吗？它凭什么懂我？更重要的是，它能一直懂下去吗？
这个十七岁的高三女生还不知道，这个看似哲学的问题，即将把她推上一个几乎所有顶尖计算机科学家都在深夜反复掂量的悬崖——
当人类产生的数据快被 AI 吃光了，科学家该怎么办？
她更不会想到，这一次从北京回上海的高铁之旅，会成为她人生里无数次失眠中的第一次。
---
1.2 繁荣之下的阴影：被忽视的"粮仓"
接下来三个小时，林夏没有睡着。
她点开了信息流中推荐的另一个视频——这是一个叫做"赛博老王"的科普 UP 主，B 站粉丝刚过百万，但已经被林夏视作"会算命的赛博叔叔"，因为她连续刷到他三期关于"大模型数据瓶颈"的视频，全部点中了她心里那个模糊的直觉。
视频的封面是一个油炸章鱼烧，旁边配了一行字："AI 快饿死了，但你不用减肥。"
林夏点进去的时候，视频已经播了 17.6 万次。
老王的开场白是这样的：
"2023 年底，全世界最大的 8 家 AI 公司——OpenAI、Anthropic、Google DeepMind、Meta、xAI、百度、阿里、字节——它们每个月训练的 token 数量加起来，比人类每年写出来的所有新文字还多。什么叫 token？你就理解成 AI 的'饭粒'，一个字大概是 0.6 个 token，一个英文单词大概是 1.3 个 token。
但你猜，这些公司花多少钱做这件事？根据 SemiAnalysis 的报告，单是 2023 年，全球大模型训练花掉的算力钱，大概是 230 亿美元——比一些小国的全年军费还多。
钱不是问题。
问题是饭。"
林夏把视频暂停，默默在便签应用上写下了三个数字。
第一个数字：人类有史以来累计产生的全部数字文本，包括书籍、新闻、社交媒体、邮件、聊天记录、视频字幕、转写稿——所有能转成文字的部分，估算下来大概有 200 至 300 万亿（10^14）个 token。这是一个叫 "Epoch AI" 的研究所在 2022 年根据维基百科、Common Crawl、各类语料库的总量估算出来的。
第二个数字：2023 年全球大模型训练消耗的总 token 数，约 5 至 8 万亿。
第三个数字：全球大模型训练消耗 token 的年增长率，约 3 至 5 倍。
她把这三个数字写在同一页纸上，然后用手指在最后一个数字下方划了一道线——
5 万亿，乘以 4，再乘以 4……
- 2024 年：20 万亿
- 2025 年：80 万亿
- 2026 年：320 万亿
- 2027 年：1280 万亿
这个数字已经在 2026 年超过了人类全部数字文本的上限。
林夏暂停了计算，把笔放下，看着窗外飞驰而过的泰安农田。
这不是科幻。这是数学题。
"知道得越多，越发现粮食危机的严重。"老王在视频里叹了口气，"你听说过'曲线归零'这个词吗？意思是说，按照当前的消耗速度，全人类写出来的所有文字加起来，只够大模型吃 4 到 6 年。
而人类写新文字的速度，每年大概只能增长 1.2 到 1.5 倍——这个速度，连 0.4 倍的复利都跟不上。
这就是 AI 的'粮食危机'。"
老王在这段话之后停顿了两秒，然后抛出了一个让林夏记在小本子上的比喻：
"你有没有养过仓鼠？仓鼠不会控制食量。如果它的碗里始终有食物，它会一直吃。但你把碗清空，第二天早上它就可能饿死。AI 不一样。AI 不是有上限的胃——它的胃口是永远喂不饱的。每多一口饭，它就能变聪明一点；每多十口饭，它就能解锁一种新能力。
问题来了：碗里的粮，是会见的。"
视频到这里戛然而止，因为老王已经去讲下一期了。
但林夏心里突然冒出一个更尖锐的问题——
到底要喂多少，才能让 AI 变聪明？
她掏出手机，把自己之前在网上顺手收藏的两篇论文找了出来。一篇是 2020 年 OpenAI 的《Scaling Laws for Neural Language Models》（俗称"Kaplan 论文"），另一篇是 2022 年 DeepMind 的《Training Compute-Optimal Large Language Models》（俗称 "Chinchilla 论文"）。这两篇论文，当时只是她为了写课题综述顺手下载的，现在重新打开，她忽然读懂了它们为什么让整个行业震动了三年——
---
1.3 一颗"数据饼干"的旅程：你的微博是怎么喂给 AI 的
林夏回到上海的家，打开笔记本电脑，进入她妈妈口中"不务正业的秘密基地"。
她不是要做什么大研究。她只是想搞明白一件事：
她写过的每一条文字，最后都去了哪里？
作为一个每天在社交平台上发评论、点赞、转发的年轻人，她隐隐觉得，自己写的东西可能比自己想象的重要得多——但具体怎么重要，她说不上来。所以她决定跟踪一颗"数据饼干"，看看它从"出生"到"被 AI 吃掉"的完整旅程。
她选了一颗最简单的饼干：她三年前发过的一条微博。
那是一个周三的下午，她在上数学课，偷偷掏出手机，发了这么一行字：
> "今天又是摸鱼的一天，下午的阳光刚好。"
当年这条微博收获了 0 个赞、0 条评论、0 个转发。可以说，这是互联网上最"透明"的一条数据——一个普通用户最普通的一个普通下午。
那么，这条微博是怎么被 AI 吃掉的？
林夏用她能想象到的每一道工序，给它画了一张旅程图：
```mermaid flowchart TD A["用户在微博发布内容"] --> B["数据采集\n(SDK/爬虫/合作数据)"] B --> C["原始数据湖存储\n(海量的PB级仓库)"] C --> D["清洗过滤\n(去重、去隐私、去垃圾)"] D --> E["质量分级\n(高质量/普通/低质)"] E --> F["Tokenization\n(切分成token)"] F --> G["训练批次打包\n(放入loader)"] G --> H["大模型权重更新\n(梯度下降)"] H --> I["模型生成预测\n(影响下游回复)"] I --> J["用户看到的新内容"] ```
下面是她对每一站的真实描写。
第一站：出生。 微博服务器的 API 收到了这条 17 个字的文字，连同发布时间戳、设备型号、IP 地址、地理位置，被写入一条数据库记录。这一步在我们看来像是一闪而过，但对服务器来说，这是一个数据包，是它"出生"的事件。
第二站：采集。 当某个数据公司——比如一家大型 AI 训练数据供应商——和微博签下数据合作合同之后，这家公司会被允许通过微博开放平台接口，把过去几年的微博内容拉出来。林夏这条微博，对于这家数据公司来说，就是海底捞针时捞到的一颗针。因为它实在太普通了，普通到没有任何特征。但在数据公司眼里，它也是数据。
第三站：储存。 所有的微博，连同新闻、贴吧、知乎、小红书评论，被一股脑倒进一个叫做"原始数据湖"的地方。这个地方，按 2023 年的规模，已经达到 PB 级——也就是说，1024×1024 GB 那么多。林夏的 17 个字混在几万亿个字中间，像一粒沙混入沙漠。
第四站：清洗。 这一关才是真正的生死关。AI 训练数据不能是垃圾，所以会有专门的"清洗流水线"——
- **去重**：和别人的微博太像的，留一条；像林夏这条"今天又是摸鱼的一天"，可能在数据湖里有几十万条相似的，只保留最独特的几条；
- **去隐私**：身份证号、电话号码、家庭住址，被自动检测、替换成 `<PHONE>` `<ID>` 之类的占位符；
- **去垃圾**：营销广告、色情链接、恶意刷屏，被分类器打成"低质"，扔掉；
- **去敏感**：涉及政治、暴力的内容被打包送进"红队专用库"，不进主力训练。
林夏的微博，熬过了这一关——它不算低质（因为有"下午的阳光刚好"这种带文学性的描写），但也不算高质量（因为太短、信息量太低）。它最终被分到了 C 级，勉强进入训练集。
第五站：分级。 这家公司有一个内部评级系统：S/A/B/C/D 五档。S 级是维基百科条目、A 级是书籍节选、B 级是高质量新闻、C 级是有文学性的社媒内容、D 级是营销水文。林夏这条属于 C 级。这意味着，它会被使用，但只会出现在训练数据的一个小角落里。
第六站：切分——Tokenization。 这是 AI "吃饭"前最关键的一步。文字被切成更小的单位，叫做 token。
中文里，一个字通常是一个 token。林夏那条微博：
"今天又是摸鱼的一天，下午的阳光刚好。"
会被切成约 17 个 token（标点符号各算一个）：
`[今][天][又][是][摸][鱼][的][一][天][，][下午][的][阳光][刚][好][。]`
但更复杂的训练数据，会切成 4096 个 token 的片段，或者 8192 个 token 的片段，按模型上下文长度包装。
第七站：打包。 这些 token 被打包成一个个 批次（batch），每个批次大约 1024 段，每段 4096 个 token。也就是说，每个批次里包含了 4 百万个 token 的文字。林夏的 17 个 token，在这一批次中，占比是 4×10⁻⁶——它和千千万万其他 token 一同，进入训练循环。
第八站：训练——AI 的"消化"。 一个批次喂进去，模型做一次推理，然后和正确答案对比，调整内部权重（这一过程叫做梯度下降）。一次训练，要喂几亿个批次。林夏那颗饼干，从被切成 token 开始，到完成对模型权重的影响，大概只能"活"几分钟。但它会留下痕迹——模型在字词组合的统计概率里，会微微倾向于"摸鱼 + 阳光 + 心情好"这种搭配。
第九站：闭环——影响下一个用户。 训练结束，模型会"记得"这类语言模式。当另一个女孩在夏天的午后发出"今天摸鱼一下午"的感慨时，模型也许会把这句话带到一个评论里，或者一个回复里——甚至一首诗的结尾。林夏不知道，但她也许已经在某个 AI 的回复里"遇见"过自己的影子。
林夏把这些写成一篇图文，发在自己的博客上，并把它命名为：
《一颗数据饼干的旅程：从微博到 GPT 的 17 个 token》
她并不打算做什么了不起的研究，她只是想搞清楚——
自己写下的每一个字，可能都比自己想象的重要，但也可能比自己想象的廉价。
---
1.4 "够用就行"是个谎言：数据规模定律的残酷真相
接下来的几天，林夏开始啃那篇 Kaplan 论文。
2020 年 1 月，OpenAI 的研究员 Jared Kaplan 和他的同事们发现了一件让整个 AI 圈震惊的事——
当一个语言模型被训练得越大、吃的数据越多时，它的表现不是"越来越好"，也不是"越来越慢地变好"，而是遵循一条非常精确的数学曲线。
这条曲线叫做幂律（Power Law）。
林夏一开始读不懂。她把那个公式抄在笔记本上，是一个非常简单的式子：
$$L(N) \propto N^{-\alpha}$$
她盯着这条公式，像看一段咒语。它只有五个符号——`L`、`N`、`∝`、`-`、`α`——但每一个都代表着一个变量。
她决定一个一个来。
L 是"损失（Loss）"。 在机器学习里，"损失"是一种衡量"模型答错题目有多严重"的数字。损失越低，模型越聪明。当损失从 4.0 降到 3.0，模型的能力会有肉眼可见的飞跃——可能从"能写凑顺句子"变成"能写散文"。当损失再降到 2.0，模型可能开始"懂"上下文，会"推理"。
N 是"训练数据量（Tokens）"。 这个她现在已经懂了——就是模型被喂了多少颗 token 饭粒。10 亿、100 亿、1000 亿、1 万亿……
∝ 是"正比于"。 数学里"正比"的意思是"一个变大，另一个也跟着变大（或变小）"。
-α 里的 α，是一个常数，叫做"幂律指数"。 Kaplan 团队测出来，这个 α 在 0.07 到 0.095 之间。换句话说，每多 10 倍数据，损失按 10 的 -α 次方下降。
$$L(N) \approx L_{\infty} + \left(\frac{N_c}{N}\right)^{\alpha}$$
这才是完整公式——其中 $L_{\infty}$ 是"理论最低损失"，也就是无限数据达到的极限；$N_c$ 是"临界数据量"，只有达到这个量，模型才会开始真正"觉醒"。
林夏决定把这些抽象的字母换成具体的数字。
她假设训练一个中等规模模型，初始的损失从 4.0 开始往下掉（这个 4.0 大约是 GPT-2 的水平）。α 取 0.08，$N_c$ 取 1 亿 token。
她把数字代进去：
- **N = 1 亿 tokens**（刚刚达到临界）：$L \approx 4.0$
- **N = 10 亿 tokens**（10 倍）：$L \approx 4.0 - 1 ≈ 3.0$（损失下降 1 个点）
- **N = 100 亿 tokens**（100 倍）：$L \approx 3.0 - 0.66 ≈ 2.34$
- **N = 1000 亿 tokens**（1000 倍）：$L \approx 2.34 - 0.41 ≈ 1.93$
- **N = 1 万亿 tokens**（10000 倍）：$L \approx 1.93 - 0.27 ≈ 1.66$
"这……"林夏盯着这组数字愣住，"每多 10 倍数据，损失才会显著下降 1.0 左右。"
她突然明白了一件事——
为什么 2023 年全球最先进的大模型都在追求"万亿 token"训练？因为它们必须达到那个"2.0 附近"的损失阈值，才会出现所谓的"涌现（emergence）"——也就是推理、写作、编程等"高级能力"的突然解锁。这是一个临界点。
而要让损失从 2.0 降到 1.66——再要 10 倍数据。 要从 1.66 降到 1.4——再要 10 倍。 要从 1.4 降到 1.2——再要 10 倍。
每一个 0.1 的下降，都是 10 倍数据的代价。
这就是"够用就行"的谎言。
林夏理解了——为什么大模型厂商像是着了魔一样，要"上不封顶"地吞数据。不是贪婪，是数学：任何 1% 的性能提升，都需要按指数级追加数据。
她把这个发现记在笔记本上：
> "AI 不是吃到八分饱就停下来。它是要吃到 100 分、1000 分、10000 分的。每一步的进步都要 10 倍的粮。所以它永远不会'够用'。"
老王在视频里说："这就是 OpenAI 之所以在 2020 年就预见到了'数据瓶颈'——他们知道，光靠堆数据，迟早会撞墙。但他们赌的是：在撞墙之前，能不能把模型变成一个能解决撞墙问题本身的工具？"
她翻到论文的最后一页，看到 Kaplan 在文末写的一句话——
> "我们相信，如果能找到更多的高质量训练数据来源，将极大提升模型的性能上限。"
这句话，已经预言了接下来三年 AI 行业最重要的一个课题：
当数据墙就在前面，我们到哪里去找新数据？
---
1.5 倒计时开始：人类数据何时见底
清明节假期，林夏把自己关在房间里，电脑屏幕上是她从各处收集来的最新统计数据。
她在做一件很"工程"的事情——把全球大模型的"胃口"和人类的"粮仓"按时间轴对齐，看看"粮仓见底"的具体时刻在哪里。
她先列出"粮仓"的清单：
高质量（High-Quality）文本部分：
- 维基百科（全语言）：~50 亿 tokens
- 古登堡计划英文书籍：~200 亿 tokens
- 学术论文（arXiv 等）：~500 亿 tokens
- 高质量新闻（NYT、BBC、新华社）：~3000 亿 tokens
- 出版图书（全球）：~1 万亿 tokens
- 维基百科 + 书籍 + 学术 + 教育内容总计：**约 7-10 万亿 tokens**
中等质量（Medium-Quality）文本部分：
- Common Crawl 年度抓取：~2000-3000 亿 tokens/年
- Reddit 评论历史：~2000 亿 tokens
- 新闻评论、论坛、博客：约 10 万亿 tokens 累计
全网文本（含低质）：
- 全部 Common Crawl 累计：~200-300 万亿 tokens
合计起来——人类累计产生的全部可用文字，约 200 至 300 万亿 token。
注意"可用"两个字。它已经被去重、被去垃圾、被去隐私、被红队过滤掉了"敏感"内容。实际能进主力训练的，可能不到一半。
林夏再列"胃口"的清单：
已公开的大模型训练数据量：
- GPT-2 (2019)：40 亿 tokens
- GPT-3 (2020)：3000 亿 tokens（约 0.3 万亿）
- LLaMA 1 (2023)：1.4 万亿 tokens
- LLaMA 2 (2023)：2 万亿 tokens
- GPT-4 (2023)：推测 13 万亿 tokens
- 据传 GPT-5 训练目标：50 万亿 tokens
- 据传