它到底是个什么东西
第 1 章 · 它到底是个什么东西
先别被'大模型''AGI'这些词唬住。本质上它就干一件事：给你一段文字，它猜下一段文字。但就这么个事，当量大到一定程度，性质就变了。
---
先把名字拆了
"大语言模型"这五个字，你要是第一次听，可能觉得挺唬人。但其实它拆开就两块：一个叫"语言模型"，一个叫"大"。
语言模型干的事极简单——你给它一段文字，它告诉你"接下来最可能出现的文字是什么"。就这一件事。
比如你输入"床前明月"，一个训练好的中文语言模型会告诉你：下一个字大概率是"光"。你输入"床前明月光，疑是地上"，它会说"霜"。不是因为它"懂"李白，而是因为在它见过的海量文本里，"床前明月"后面几乎总是跟着"光"，"疑是地上"后面几乎总是跟着"霜"。
你可能会说：这不就是个高级版的输入法联想吗？我手机打字的时候，输入法也会给我猜下一个词。
对，本质上它干的事跟输入法联想是一码事。区别只在于"大"这个字——而这正是过去十年发生的全部戏剧所在。
"大"是怎么个大事
2018年之前，语言模型见过的文本量大概是几十亿个词。那时候的模型，确实就是个稍好一点的联想——能帮你补全半句话，写不出像样的段落。
然后发生了两件事。
第一，有人想到一个办法（叫Transformer，下一章细讲），让模型能高效地"读"巨量的文本。第二，互联网上本来就有爬不完的文本——维基百科、新闻、论坛、书籍、GitHub上的代码，加起来大概几万亿个词。
把这两件事凑到一起：一个能高效学习的架构，喂进几万亿个词的语料。模型从几十亿词的"见世面"，一下子扩大到几万亿词。就像一个人原来只读过几本书，现在一夜之间把全人类写的书全读了一遍——见识不一样了。
规模的变化带来质的变化。这件事，是后面所有故事的引擎。
到了2020年前后，GPT-3这种模型见过的文本量，已经相当于一个人不吃不睡读几万年。在这个规模上，那个"猜下一个词"的任务，开始长出一些谁都没想到的能力。它能做翻译（因为见过无数中英对照的句子），能写代码（因为见过无数GitHub仓库），能做简单的数学题，能模仿风格写文章。这些能力没人专门"教"过它——全部是在"猜下一个词"这个单一目标的训练中，作为副产品冒出来的。
业内管这个现象叫"涌现"。意思是：规模到了，能力自己就出现了，像水温到了一百度，水自己就开始翻滚。当然这个说法有争议——有人认为不是什么神秘涌现，就是量变引起质变，是连续的，只是你用的评测方法太粗看不清中间状态。这个学术吵架我们先不站队，但它确实指出了一个真实现象：大，本身就有价值。
那"智能"了吗
这就是最有争议的地方了。
你跟一个大模型聊天，它对答如流、引经据典、甚至能给你写一首藏头诗。你很难不想：这东西是不是有意识？是不是真的"懂"它在说什么？
我的判断是：不知道，但大概率不重要。
先说为什么"不知道"。我们对"理解"这个词的定义本身就模糊。你自己"理解"一句话的时候，大脑里发生了什么？是一堆神经元在放电，某些连接被激活。你怎么证明那种放电就是"理解"，而大模型里几十亿个参数的激活就不是"理解"？说白了，我们现在没有一个公认的、可操作的"理解力测试"。图灵测试早就被大模型耍过了，但没人真觉得"能骗过人"就等于"理解"。
再说为什么"大概率不重要"。就算它只是统计地模仿，模仿得够好，对用户来说就够了。 你看病的时候，如果AI给出的诊断和处理方案，跟顶级专家给的一样，你会在乎它"懂不懂"吗？法律咨询、翻译、写代码、查资料——对绝大多数实际应用，能用就行。纠结它到底"懂不懂"，很多时候是哲学家和辩论赛的乐趣，不是工程师和用户的乐趣。
当然，这个态度有个边界：当你把大模型用于需要它"真的懂"的场景时，风险就来了。因为那个看起来流畅的回答，可能完全是胡说。这是这本书后面会反复出现的主题。
一个"背了全人类课本的学渣"
如果要我用一个比喻来概括大模型是什么，我会这么说：
它像是一个把全世界图书馆都背下来了的人，但从来没真正"活"过。
它背下了所有的知识——比你、比我、比任何活人都多。你问它什么，它都能从那座庞大的记忆库里调出相关的东西。但它从来没有亲身经历过任何事情。它没有在雨天淋过雨，没有失恋过，没有摸过一块石头知道它凉。它的所有"理解"，都建立在文字与文字之间的统计关联上。
这个比喻解释了它为什么能干很多事，也解释了它为什么会在一些地方栽跟头。
它能写出漂亮的诗，因为它见过千万首诗。它会在常识问题上犯傻，因为它没见过谁能用文字把"杯子和球哪个重"这种"对活人是本能"的事情讲清楚。它会在数学上出错，因为数学不是靠背得多就行的，它需要严格的推理，而大模型的底层逻辑是"猜"不是"算"。
理解了这个比喻，你就能预测大模型擅长什么、不擅长什么——而不是被它的花言巧语（或者偶尔的蠢话）牵着走。
这本书接下来的内容，就是带你进入这个"背书巨人"的内部——它是怎么被造出来的，它的长处在哪，短板在哪，以及怎么用好它。我们不捧它也不黑它，搞清楚它是什么，比决定爱它还是恨它，有用得多。