大模型也会说错话？
第 1 章：大模型也会说错话？
> 本章小目标：认识一位新朋友"小R"，跟着它一起去发现——为什么那个什么都会的"小老师"也会说错话？我们又要用什么好办法，让它的回答变得又准又靠谱？
---
1.1 一只会说话的狐狸——小R 来了
九月的第一个星期天，十一岁的可可坐在窗台边，手里抱着一只毛绒狐狸玩偶，眼睛却盯着桌上的平板电脑发愣。
"可可，吃苹果啦！"妈妈从厨房端出一盘切好的红富士。
"哦……好。"可可伸手拿了一块，眼睛还是没离开屏幕。
妈妈走过来一看，发现可可正在和一个聊天软件对话，屏幕上停着一行绿色的小字：
> 小R：你好呀，可可！我听说你最喜欢的小动物是狐狸，那我猜猜……你今天的作业是写一篇关于"狐狸"的观察日记，对不对？
"哇，妈妈你看！它怎么知道的？"可可惊讶地指着屏幕。
妈妈笑了笑："这是现在很火的一种'人工智能助手'，它能跟你聊天，能回答问题，还能帮你写作文呢。你刚才是不是跟它说过你喜欢狐狸？"
"对对对！"可可使劲点头，"我昨天问它最喜欢吃什么，它说是浆果和蜂蜜，还给我编了一个'小狐狸采蜂蜜'的故事，特别有意思！但是……"
"但是什么？"
"但是我今天问它'昨天晚上世界杯足球赛的冠军是谁'，它说了一大堆听起来特别专业的话，结果我查了一下，完全不是它说的那个队！"可可皱起眉头，"它明明回答得那么自信、那么流利，怎么会错呢？"
妈妈想了想，把盘子放在桌上，坐到可可身边。
"可可，这其实是一个特别好的问题。"
"这个会说话的小狐狸，并不是真正'懂'足球，也并不是'故意'骗你。它只是……"妈妈顿了一下，想找一个合适的词。
"它只是在'接话'。"可可脱口而出，"我之前看过一篇文章说，它是'一个字一个字地猜下一个字'的，对吧？"
"对喽。"妈妈竖起大拇指，"今天，妈妈想和你一起，把这只'小狐狸'请出来，好好问问它：为什么你什么都会说，又为什么有时候说得头头是道却是错的？"
可可一下来了精神："那我们去问问它！"
"好。不过我们今天不是'用'它，而是'研究'它。我们来做一回'知识小侦探'，好不好？"
"好！"可可把那盘苹果往旁边一推，郑重其事地在笔记本上写下三个字——
知识小侦探
这就是这本书的第一个任务。
> 🦊 小R 档案（第一期） > > 名字：小R（这是我们给它起的昵称） > 真实身份：一个大语言模型（Large Language Model，简称 LLM） > 特长：聊天、写作文、讲故事、翻译、做总结 > 弱点：会"说错话"，而且说得特别自信 > 口头禅："我来试试看！"（它几乎不会说"我不知道"）
接下来，就让我们一起走进"小R"的世界，看看这只神奇的狐狸到底是怎么思考的，又为什么有时候会一本正经地胡说八道。
---
1.2 它不是"懂"，而是"会接话"——大模型到底在做什么？
"妈妈，我们第一个问题：'小R'到底是怎么回答问题的？"
妈妈没有直接回答，而是从书架上抽出一本厚厚的字典。
"可可，假设我把这本字典从头到尾都背下来，你问我'中国的首都是哪里'，我能不能回答？"
"当然能呀，北京！"
"那如果我把这本字典换成'整座图书馆'呢？我把图书馆里所有的书都读了——历史书、童话书、漫画、报纸、说明书、小说、诗歌，全都读完了。你问我什么，我都有可能回答出来。"
"那不是变成'百科全书'了？"
"差不多就是这个意思。"妈妈翻开字典，念了一段话，然后合上书问："可可，把我刚才念的那段话复述一遍，能做到吗？"
可可挠挠头："太长了，记不住。"
"对，这就是关键。"妈妈说，"大模型做的事情，和'背下整座图书馆'有点像，又不太一样。"
妈妈在纸上画了一个简单的图：
``` 训练数据（海量文字） ↓ 大模型"学习" ↓ 一个"会接话"的神奇程序 ↓ 当你说"从前有只小狐狸……" 它会接："它在森林里迷路了" ```
"你看，它并不是真的'理解'故事。它做的事情，用一句最简单的话说就是——"
妈妈在纸上重重写下一行字：
> 根据前面出现的字，猜下一个最有可能出现的字。
可可盯着这行字看了好一会儿，突然"啊"了一声。
"我懂了！它就是'成语接龙'的超级升级版！"
"可以这么理解。"妈妈笑了，"比如你在手机上打字的时候，输入法会猜你想打的下一个字，对不对？大模型做的事情和这个差不多，只不过它猜的'字'不只是词语，而是整句话、整段话、整篇文章。"
"而且它猜得特别准！"妈妈补充道，"因为它'看'过的文字实在太多了——可能是几千亿个汉字、几万亿个英文单词。所以当你问它问题的时候，它能在'猜下一个字'的过程中，碰巧组合出一段又通顺又有用的话。"
可可若有所思："所以它不是'知道'答案，而是'拼出'看起来像答案的话？"
"完全正确。这就是我们要记住的第一句话——"
> 📌 侦探笔记 1：大模型是一个"会接话"的高手，它通过"猜下一个字"来生成回答。它并不像人一样"真的理解"问题。
"那为什么有时候它接得那么好，能写出特别感人的作文，有时候又胡说八道呢？"
"这就要说到它的'记性'了。"妈妈神秘地笑了笑，"你知道人类的大脑是有限的，装不下太多东西，对吧？大模型也有它的'容量限制'，而且它的'记性'还和我们想的不太一样……"
"这是我们下一节要讲的故事。"
---
1.3 一本只有"保质期"的字典——知识截止日期
可可忽然想起一件事："妈妈，我们家厨房的食品柜里有一盒酸奶，上面写着'生产日期 2024 年 3 月，保质期 21 天'。是不是说，过了一个月，那盒酸奶就'过期'了，喝了可能会拉肚子？"
"没错。"
"那大模型是不是也有'保质期'？"
妈妈眼睛一亮："可可你这个问题问得太棒了！"
她从可可的本子上撕下一页纸，在上面画了一条长长的横线，起点写"0"，终点写"2024 年 6 月"，然后在终点画了一面小红旗。
"可可你看。假设这只'小R'是在 2024 年 6 月这一天'学完所有知识'的，那么它肚子里的'知识'，最远就只到 2024 年 6 月为止。"
"所以它不知道 2024 年 6 月之后发生的事情？"
"对。这条横线，我们叫它'知识截止日期'（Knowledge Cutoff Date）。"
> 📌 侦探笔记 2：大模型有一个"知识截止日期"。在它完成训练的那一刻之后发生的事情，它都不知道。
可可赶紧在平板上敲小R：
"小R，请问 2024 年 8 月的奥运会在哪个城市举办？"
屏幕上的小R 眨眨眼，很快给出了一段流利的回答：
> 小R：2024 年的夏季奥运会在巴黎举办哦！这是法国时隔 100 年再次举办奥运会……
"妈妈！它答对了！"可可高兴地叫起来。
"别急，你再问它一件'截止日期之后'的事。"
可可想了想，又问：
"小R，请问 2025 年 1 月 1 日发生了一件特别重要的事情，是什么？"
这一次，小R 停顿了好几秒——比平时都久。然后屏幕上跳出一行字：
> 小R：2025 年 1 月 1 日，全世界有很多地方都在庆祝新年。在中国，人们会观看新年第一天的日出……
"它又开始'编'了！"可可一拍桌子，"它根本没有回答'1 月 1 日发生的那件特别重要的事情'！"
"这就是'知识截止日期'的威力。"妈妈说，"对于'截止日期之后'的事情，大模型没有真的'记忆'，它只能用'截止日期之前'学到的东西去'接话'。结果就是——它会用很自信的语气，说一些听起来合理但其实并不存在的事情。"
"听起来合理"这四个字，妈妈特地用红笔圈了起来。
"可可，你要记住一句话：在'小R'看来，没有'我不知道'，只有'我来编一个'。"
可可把这句关键的话抄在了笔记本上：
> 🦊 小R 的秘密：它几乎不会说"我不知道"，它总是想办法给出一个"听起来对"的答案。
---
1.4 一本正经地胡说八道——认识"幻觉"
"妈妈，今天我们学到的这些，都指向一件特别重要的事情。"可可忽然严肃起来。
"哦？说来听听。"
"你刚才说小R'会用很自信的语气，说一些听起来合理但其实并不存在的事情'——这不就是'撒谎'吗？"
妈妈摇摇头："严格说，这不是'撒谎'。"
"为什么？"
"因为'撒谎'是一个人明明知道真相却故意说假话。但小R 并没有'知道真相'这回事。它只是根据'前面的话'，'猜'出一个最可能接得上的字。所以它的错误，本质上是一种——"
妈妈在纸上写下一个英文单词：Hallucination。
"这个英文单词的原本意思是'幻觉'，就是眼睛看到一些其实不存在的东西。我们借用这个词，来形容大模型这种现象："
> 📌 侦探笔记 3：幻觉（Hallucination）：大模型生成的内容看起来通顺、自信、合理，但其实是不准确甚至是凭空捏造的。
"简单说就是——一本正经地胡说八道。"妈妈笑着补了一句。
可可眼睛瞪得老大："哈哈哈哈这个形容太准了！"
妈妈接着说："幻觉有很多种，科学家们通常把它们分成三大类。"
妈妈在纸上画了一个三层的蛋糕，每一层代表一种幻觉：
``` 🍰 一、事实性幻觉 "林黛玉倒拔垂杨柳"——人物搞混了，事件张冠李戴 ───────────────────────── 🍰 二、逻辑性幻觉 "今天星期三，因为明天是星期三"——推理过程出错 ───────────────────────── 🍰 三、自发性幻觉 根本没问的问题，它主动"补"了一个不存在的事实 ```
"下面我给你看一个真实的例子，你就知道'幻觉'长什么样了。"
妈妈打开了可可的平板，让小R 做一道数学题：
> 问：小明有 5 个苹果，吃掉了 2 个，又买来 3 个，最后还剩多少个苹果？
小R 飞快地打出答案：
> 小R：小明的苹果变化过程是：5 - 2 = 3，然后再 + 3 = 6，所以最后是 6 个苹果。 > > 不过这里有一个小细节，吃掉的苹果数量应该考虑到原来买苹果时的数量……
"妈妈！它做对了！但是后面那一段'小细节'是怎么回事？"
"你看，它做对了 5 - 2 + 3 = 6。但它偏偏忍不住'多嘴'，加了一段听起来很专业但其实和题目完全无关的话。这就是'自发性幻觉'——它'编'了一个原本不存在的'小细节'。"
可可若有所思地点点头："我懂了。'幻觉'就是大模型的'职业病'。"
"对。而且这毛病还挺顽固——并不是说'小R'越变越大、越训练越多就一定能治好。"
"为什么呀？"
"因为它'接话'的方式没变。"妈妈说，"它仍然是在'猜下一个字'，它没有'自我检查'的能力。所以只要它觉得'这样接比较通顺'，它就会这样接下去。"
"就像……一个非常自信的孩子，每次考试都觉得自己全对，从来不回头检查。"
"哈哈这个比方好！"
妈妈最后又强调了一句："可可，这一段你要记牢。我们后面所有的章节，都会围绕一个核心问题——怎么帮助大模型减少'幻觉'，让它的回答更靠谱。"
---
1.5 老师的秘密武器——人类是怎么回答问题的？
"那我们到底有没有办法让小R 不再'一本正经地胡说八道'呢？"
妈妈没有急着回答。她从可可的文具盒里拿出一支红笔，又从书架上抽出一本《十万个为什么》。
"可可，妈妈问你一个很简单的问题：如果明天老师让你上台讲'恐龙是怎么灭绝的'，你会怎么准备？"
"当然是先看书！再查一些资料！然后整理成自己的话！"可可脱口而出。
"为什么？"
"因为如果我什么都不看，就上台乱说，肯定会讲错呀。"
"说得对。"妈妈把那本《十万个为什么》放在桌上，"人类几千年来，回答'我不知道的事情'的标准做法就是——先查资料，再回答。"
妈妈在纸上画了一张图：
``` 我们人类的标准流程
遇到不懂的问题 ↓ 去图书馆 / 上网 / 问老师 ↓ 找到相关资料 ↓ 看完资料后整理成自己的话 ↓ 自信地、负责任地回答 ```
"这是一个非常自然的流程。小朋友都懂，对不对？"
可可点头："对呀，没有人会上来就说'我觉得恐龙是被外星人吃掉的'。"
"对。除非 ta 是个很会编故事的人。"妈妈笑了，"但是，对小R 这种'记性不太好'的'小狐狸'来说，它偏偏就养成了'拿到问题就立刻回答'的习惯。"
"它不查资料吗？"
"默认情况下，是的。它就是直接'凭印象'回答。所以它容易出错。"
可可皱起眉头："那我们能不能……教它'查资料'？"
妈妈一拍桌子："你这句话，是这本书最重要的一句话！"
她郑重地在纸上写下一行字，加粗，加下划线：
> 🌟 本书的核心想法：让大模型在回答之前，先去"查资料"，再根据资料回答。
"这个想法，有一个专门的名字。"
妈妈写下一个英文缩写：RAG。
"RAG 是三个英文单词的首字母：Retrieval-Augmented Generation。中文翻译过来就是'检索增强生成'。"
妈妈把这三个词拆开写：
- **Retrieval（检索）**：去"图书馆"里查找资料。
- **Augmented（增强）**：用查到的资料来"加持"大模型。
- **Generation（生成）**：最后还是由大模型来"写"出回答。
"所以你可以把它理解成："
> 📌 侦探笔记 4：RAG（检索增强生成） = 让大模型在回答问题之前，先去"图书馆"里查找相关资料，然后用这些资料来帮助它写出更准确的答案。
可可兴奋地在本子上画了一个大大的"RAG"标签。
"妈妈，我有一个比喻！"
"说来听听。"
"小R 像一个很聪明、但记性不太好的同学。每次考试前，如果老师给它'开卷'——也就是允许它翻书——它就能考得很好；如果让它'闭卷'，它就容易胡编。RAG 就像……给小R '开卷'！"
妈妈惊喜地看着可可："你这个比喻太妙了！"
她立刻把可可的比喻写下来：
> 🌟 可可的金句：RAG 就是给"小R"开卷考试。
---
1.6 走进"小R 的图书馆"——我们要怎么建？
"妈妈，那 RAG 这座'图书馆'到底长什么样？"
"这是我们后面章节要详细讲的内容。但是今天，我们可以先建立一个'心理模型'——也就是闭上眼睛，能在脑子里想象出来的画面。"
妈妈让可可闭上眼睛。
"想象一下，有一座巨大的图书馆。"
"图书馆里有成千上万的'书'——新闻报道、教科书、维基百科、用户手册、童话故事、研究论文……所有你想得到、想不到的文字资料。"
"这些'书'都按照一定的规律排列。比如历史书放在一起，动物书放在一起，故事书放在一起……方便我们'检索'。"
"这座图书馆里还配了一位'图书管理员'，名字叫'检索器'（Retriever）。你问它'恐龙是怎么灭绝的'，它能在 1 秒钟内，把所有跟恐龙相关的几页纸给你找出来。"
"然后，这几页纸会被送到小R 面前。小R 戴上'老花镜'，认认真真地读这些资料，最后用'自己的话'给你写一段又通顺又准确的回答。"
可可睁开眼睛："我看到了！就像一个学生考试前，先去图书馆借了三本书，然后回家整理笔记，最后才去考试！"
"完美。"妈妈点头，"所以 RAG 的'图书馆'，并不是要替换掉小R 这个'学生'，而是要给它配一个'图书馆'，让它有资料可查。"
妈妈又写下了这一章最重要的一张图：
```mermaid flowchart TD Q[小朋友问问题] --> A{选哪种回答方式} A -->|裸模型| B[大模型凭记忆直接回答] A -->|RAG 模式| C[先去图书馆检索相关资料] B --> D[可能正确 也可能一本正经地胡说] C --> E[找到几页相关的内容] E --> F[把资料和问题一起送给大模型] F --> G[大模型根据资料认真组织答案] G --> H[答案更准确 更可靠] D --> R[回答完成] H --> R ```
"可可你看，这张图就是这一章的'作战地图'。左边是'裸模型'——没有图书馆、直接答题；右边是'RAG'——先去图书馆、再答题。"
"我们要做的，就是想办法让小R 越来越像右边那条路。"
---
1.7 侦探任务卡：画一画"开卷"和"闭卷"的区别
"可可，理论讲完了，现在轮到你这个'知识小侦探'动手啦。"
妈妈把任务卡递给可可：
> 🕵️ 侦探任务卡（第一章） > > 任务名称：画出"开卷考试的小R"和"闭卷考试的小R" > > 任务要求： > 1. 准备一张大白纸。 > 2. 在纸的左边画一个"闭卷的小R"——一只戴着博士帽、但没有书的狐狸，旁边写上它"一本正经胡说八道"的样子。 > 3. 在纸的右边画一个"开卷的小R"——同样戴博士帽，但面前摊开着一本《百科全书》，旁边写着"答案更靠谱"。 > 4. 在中间画一个箭头，箭头上写"RAG（先查资料再回答）"。 > 5. 附加挑战：用一句话告诉你的好朋友"幻觉"是什么。
可可二话不说，摊开大白纸，开始画画。
十五分钟后，一张充满童趣的对比图完成了：
``` 【闭卷的小R】 【开卷的小R】
🦊（戴博士帽） 🦊（戴博士帽） "答：恐龙是 📖《百科全书》 被外星人 恐龙灭绝 吃掉的。" 资料节选：…… ✗（×号） "答：恐龙可能 是因为小行星 🗣️ "我觉得" 撞击地球而 大规模灭绝。" ✓（√号） 🗣️ "我查到的"
⬇ ➡ RAG：先查资料，再回答 ⬅ ```
可可得意地把自己的"大作"拿给妈妈看。
"妈妈，你看我画的！左边的狐狸说'我觉得'，因为它没资料，只能凭感觉；右边的狐狸说'我查到的'，因为它真的去查了！"
妈妈笑得合不拢嘴："可可你这个总结太精辟了！'我觉得'和'我查到的'，一句话就分出了'幻觉'和'靠谱'的区别。"
> 📌 侦探笔记 5：靠谱的回答 = "我查到