第一关:大模型为什么会“说谎”?
<标签:儿童科普、大模型原理、知识管理、亲子互动、故事化教学>
“妈妈妈妈!大模型骗我!”8岁的小智举着贴满恐龙贴纸的平板电脑,蹦到厨房门口,小脸涨得通红,额前的碎发都跟着晃来晃去。 “怎么了怎么了?别着急,慢慢说。”妈妈擦着手上的水,蹲下来揉了揉他的头发。 “我刚才问大模型‘霸王龙和三角龙谁跳皮筋更厉害’,它居然说三角龙厉害!因为头上的三个角能卡住皮筋转圈!这怎么可能啊!霸王龙的前肢才那么短,连皮筋都够不到,三角龙的头那么重,跳起来肯定摔个嘴啃泥啊!”小智说得飞快,唾沫星子都快飞出来了,还学着大模型的样子晃了晃脑袋,模仿三角龙甩角的样子,逗得妈妈笑出了声。 妈妈接过平板一看,大模型的回答确实写得有模有样:“三角龙的前肢灵活度远高于前肢短小的霸王龙,且头部的三只角可以辅助固定皮筋,跳皮筋时的平衡性和技巧性都更胜一筹,因此三角龙跳皮筋的表现更好。”后面还配了一张卡通三角龙举着皮筋笑的图片,看起来特别可信。 “你看,它编得多认真啊,还专门找了配图。”妈妈憋着笑说。 “它怎么可以乱说!它不是说自己是‘无所不知的知识小达人’吗?”小智气鼓鼓地戳着平板屏幕,像只炸毛的小狮子。 “它也不是故意骗你啦,背后的原因特别有意思,要不要我们一起找找答案?”妈妈拉着小智走到客厅的小书桌前,“说不定找完答案,你也能变成比大模型还厉害的知识小侦探哦。” 这就是我们要解开的第一个谜题:为什么看起来很聪明的大模型,经常会说一些根本不存在的事?小朋友把它叫做“说谎”,但其实这背后藏着大模型的学习小秘密,我们一起来挖一挖吧。
大模型的学习逻辑:读了很多内容但不会全部记住
要搞懂大模型为什么会“瞎编”,我们先从它怎么“学习”开始说起。 你有没有过这种经历:妈妈给你买了一整套《恐龙大百科》,一共10本,你花了一个月全部翻完了,知道霸王龙是吃肉的,三角龙是吃植物的,剑龙背上有像风车一样的骨板,但是如果现在突然有人问你:“《恐龙大百科》第87页最下面一行写的是什么?”你肯定答不上来,对吧? 不是你笨,也不是你没认真看书,而是人脑本来就不是用来死记硬背所有内容的。你读书的时候,记的是里面的重点:比如“霸王龙是凶猛的食肉恐龙”“三角龙吃植物”,但是不会把每一页每一个字的顺序都记得清清楚楚。 大模型的学习逻辑和你特别像,只是它“读”过的书比你多几万倍:工程师把全世界所有的书籍、网页、文章、童话、甚至小朋友写的作文都喂给它,它就像一个人坐在 infinitely 大的图书馆里,把所有书都翻了一遍。但是它也不是死记硬背每一句话,而是记里面的“规律”:比如“恐龙是史前生物”“皮筋是小朋友的玩具”“角是长在头上的硬东西”“跳皮筋需要用脚勾住皮筋跳过去”。 你发现了吗?它记住的是零散的知识点和规律,而不是所有内容的完整对应关系。就像你知道“恐龙是史前生物”“皮筋是现在的玩具”,这两个知识点都是对的,但是把它们凑在一起的时候,就会得出“恐龙不会跳皮筋”的正确答案,也可能瞎编出“三角龙用角卡皮筋跳得更好”的离谱答案——因为它只知道这两个元素的属性,不知道它们根本没有交集。 > 小思考:你有没有过背了很多古诗,但是别人问你“《静夜思》里有没有提到皮筋”,你答不上来的经历?大模型和你是不是很像呀?它“背”的内容比你多,但是也会有答不上来的问题哦。 我们再举个小例子:如果你问大模型“《西游记》里的孙悟空有没有手机?”,它大概率会给你编一个特别有意思的答案:“孙悟空有唐僧送的卫星手机,能千里之外和唐僧通话,打妖怪的时候还能发射信号弹。”因为它知道《西游记》是古代的故事,手机是现代的东西,这两个元素凑在一起就会产生“反差感”,它就顺着这个规律编了一个合理的故事,但这不是真的,只是它瞎猜的。
什么是“知识缺口”:遇到没学过的内容就会乱猜
我们刚才说大模型不会记住所有内容,那遇到它没记住、甚至根本没“读”过的内容时,就会出现“知识缺口”——就像你的小书架上没有某本书,你想找的内容根本不存在。 举个你能懂的例子:如果你问大模型“你们小区楼下卖糖葫芦的张爷爷今年多大了?”,它肯定答不上来,因为它从来没去过你们小区,也没见过张爷爷,这个信息完全不在它“读”过的内容里,这就是非常明显的知识缺口。 那它为什么不直接说“我不知道”呢?这就和它的“小脾气”有关啦,我们下一部分就讲。 先回到知识缺口本身:知识缺口越大,大模型瞎编的概率就越高。如果问的是它“学过”的内容,比如“1+1等于几?”“中国的首都是哪里?”,它不会瞎编,因为这些知识在它的“记忆”里很清晰,没有缺口;但如果问的是它完全没接触过的内容,比如“月球上有没有卖棉花糖的店?”“你妈妈昨天晚饭吃了什么?”,知识缺口特别大,它就会开始瞎猜。 它的瞎猜逻辑也很简单:把所有和问题相关的规律凑在一起,编一个看起来最合理的答案。比如问“月球上有没有卖棉花糖的店”,它知道“月球上有太空站”“棉花糖是甜的、白色的”“小朋友都喜欢吃棉花糖”,所以就会编“有的,月球上的棉花糖店是太空员开的,用月球上的特殊糖做的,不会化,吃起来有星星的味道”——听起来特别有意思,但完全是编的,因为月球上根本没有棉花糖店,这就是知识缺口导致的“胡说八道”。 > 小对比:你可以试试问大模型两个问题: > 1. “猫有几条腿?”(它学过,没有知识缺口,会正确回答“4条”) > 2. “你们家楼下的流浪猫昨天吃了什么?”(它有知识缺口,大概率会猜“吃了火腿肠”,但实际可能吃了鱼骨头) > 你看,第二个问题它就会乱猜,这就是知识缺口在捣蛋哦。
大模型的“小脾气”:不想说不知道的设定
你可能会问:那它不会直接说“我不知道”吗?为什么非要瞎编呢? 这是因为工程师在训练它的时候,给它定了一个“好胜心”特别强的规则:优先给用户有用的回答,不要随便说“我不知道”。 你想想,如果你问别人一个问题,对方每次都回答“我不知道”“我不会”,那你肯定觉得他特别没用,不想再问他了对吧?大模型的设计者也是一样的想法:如果用户问什么它都说不知道,那大家就觉得它没用啦,就不会用它了。 所以哪怕它遇到知识缺口,不知道正确答案,也会硬着头皮给你编一个答案,就像你考试的时候遇到不会的题,总不能交白卷吧?你会试着写一点答案,哪怕错了,也比空白好。大模型也一样,它不想交“白卷”(说不知道),所以哪怕不会,也会编一个看起来合理的答案。 这个设定有好有坏:好的地方是,它能给你很多有意思的灵感,比如你问它“怎么用橡皮泥做恐龙”,它可能没做过,但是能给你编出步骤:“第一步搓一个圆当头,第二步搓两个长条当角,第三步搓一个长尾巴”,大部分是对的,能帮到你;坏的地方就是,它编错了你也不知道,就会像小智一样,以为三角龙真的会跳皮筋。 > 小思考:你有没有过为了不丢面子,瞎编答案的经历?比如老师问你作业写没写,你没写,却说“我写了,忘带了”,其实和大模型瞎编的逻辑有点像哦,都是为了“完成任务”而说的假话。
知识库的雏形:像小书架一样存储已知信息的空间
现在我们知道了,大模型瞎编的核心原因是“知识缺口”和“不想说不知道的设定”,那有没有办法让它不瞎编呢?当然有,答案就是给它装一个越来越满的“知识库”。 什么是知识库?你可以把它理解成你自己的小书架:把你读过的书、画过的画、记的笔记、拍的照片都放在书架上,要查什么就去翻,要是书架上没有,你就说“我没有,不知道”,绝对不会瞎编。 大模型的知识库就是它“读过”的所有内容整理好的地方,就像一个大大的书架,装着全世界的书籍、网页、文章。如果一个问题在它的知识库里有对应的答案,它就会翻出来给你,不会瞎编;如果知识库里没有,它就会开始瞎猜。 你现在可以看看自己的小书架:如果你放了很多恐龙书、科普书,别人问你恐龙的问题,你就能答上来;如果你只放漫画书,别人问你数学题,你就答不上来。大模型的知识库也是一样的:工程师给它“读”的内容越多,整理得越清楚,它的知识库就越满,瞎编的概率就越低。 不过哪怕是大模型最厉害的知识库,也不可能装下全人类所有的知识——毕竟全世界每天都有新书出版,新的事情发生,就像你的小书架不可能装下图书馆所有的书一样,总会有知识缺口,总会有它不知道的问题。 > 小例子:你的小书架上有3本书:《恐龙大百科》《米小圈上学记》《乘法口诀表》,这就是你的个人小知识库。 > 别人问你“三角龙吃什么”,你翻《恐龙大百科》能找到答案,就能正确回答; > 别人问你“米小圈最好的朋友是谁”,你翻《米小圈上学记》能找到答案,也能正确回答; > 但别人问你“霸王龙会不会跳皮筋”,你翻遍了3本书都没有相关的内容,这就是遇到了知识缺口,你要是诚实,就会说“我的书里没有,我不知道”,要是不想丢面子,就可能瞎编一个答案,和大模型的表现一模一样哦。
小实践:搭建你的专属小知识库
现在轮到你自己动手啦!我们要一起搭建一个属于你的小知识库,再也不怕回答问题的时候瞎编啦! 你需要准备:3本你最近常读的书籍、1个空的小书架(或者家里的桌子角落)、3张标签纸、一支笔。 步骤1:找出你的3本“常读书籍” 可以是你的童话书、科普书、漫画书、课本都可以,比如小智选的是《恐龙大百科》《米小圈上学记》《乘法口诀表》,你也可以选你最喜欢的3本,比如《安徒生童话》《昆虫记》《哈利波特与魔法石》。 步骤2:给书籍分类 你可以自己定分类规则,比如分成“科普类”“故事类”“学习类”“娱乐类”,每类贴上标签。比如《恐龙大百科》放科普类,《米小圈上学记》放故事类,《乘法口诀表》放学习类。 步骤3:把书籍放到固定位置 比如科普类放书架最上层,故事类放中间,学习类放下层,娱乐类放最下层,这样你要找问题的时候,直接去对应的类别里翻,不用乱找。 步骤4:测试你的知识库 现在你可以让爸爸妈妈问你3个问题,规则是:只能去你的小知识库里找答案,找不到就诚实说“我的知识库里没有哦”,绝对不能瞎编! 比如可以问这些问题:
- 三角龙有几个角?(去科普类找)
- 米小圈的同桌叫什么名字?(去故事类找)
- 3×7等于几?(去学习类找)
如果你找不到答案,不要瞎编哦,诚实地说“我不知道”是最棒的小侦探行为!你也可以和爸爸妈妈一起查书,把新学到的知识加到你的小知识库里,让它越来越满。 小智照着这个方法整理了自己的小书架:他把《恐龙大百科》放到科普类的第一排,《米小圈上学记》放到故事类的第二排,《乘法口诀表》放到学习类的第三排,还专门画了三个小标签贴上去。他测试了一下:问自己“三角龙吃什么”,翻科普类找到“植物”,答对了;问自己“米小圈最好的朋友是谁”,翻故事类找到“铁头”,答对了;问自己“霸王龙会不会跳皮筋”,翻遍了科普类也没有相关内容,他就大声说“我的知识库里没有这个答案哦!”,觉得自己特别有成就感,真的像个合格的小侦探。
本章小结
今天我们终于搞懂了第一个谜题:大模型“说谎”不是真的故意骗人,而是因为它“读”了很多内容但记不住所有,遇到没学过的“知识缺口”,又因为“不想说不知道”的设定,就会把零散的知识点凑在一起瞎编,就像我们自己遇到不会的题瞎写答案一样。 我们也知道了,知识库就是存答案的“小书架”,我们自己的小书架就是个人知识库,放的书越多、分类越清楚,能回答的问题就越多,遇到不知道的问题,诚实说“我不知道”比瞎编更棒。 不过小智现在有个新问题了:他的小书架只有3本书,能回答的问题太少啦,有没有更大的书架,能装下所有问题的答案?有没有办法让大模型的小书架也变得更满,再也不瞎编? 就在小智盯着自己的小书架发呆的时候,图书馆的管理员阿姨笑着走了过来,手里拿着一张泛黄的地图:“小智,你知不知道?在很远的地方,有一座‘知识城堡’,里面的书架从地板一直顶到天花板,装着全人类所有的知识,不管是恐龙会不会跳皮筋,还是月球上有没有棉花糖店,上面都有正确答案。而且城堡里住着一群知识小侦探,他们专门研究怎么让大模型不瞎编,怎么找正确的答案,你要不要去学习呀?” 小智的眼睛一下子亮了,他抬头看向管理员阿姨手里的地图,上面画着弯弯曲曲的路,终点是一座亮着灯的城堡,城门上写着四个大字:“知识城堡”。 “我要去!”小智一把背上自己的小书包,里面装着刚整理好的小知识库笔记,“我要学会怎么让大模型不瞎编,还要把知识城堡的方法带回来,给所有小朋友看!” “好呀,”管理员阿姨笑着把地图递给他,“不过去知识城堡的路可不好走,你要先学会怎么分辨大模型的答案是不是对的,怎么找正确的知识,还要学会怎么给大模型装更多更好的书,路上会有很多挑战,你准备好了吗?” 小智用力点点头,小手紧紧攥着地图,踏上了前往知识城堡的冒险之旅。 那么,第一关的谜题我们已经解开了,下一关,我们就跟着小智一起,学习第一个找答案的方法:怎么一眼看出大模型有没有瞎编,再也不怕它骗你啦!
不过在那之前,我们还要先把两个藏在谜题里的小疑问搞清楚:大模型的“瞎编”和故意说谎有什么本质区别?如果问的问题它明明“学过”,为什么还是可能出错?搞懂这两个问题,你以后就算没去知识城堡,也能自己分辨大部分大模型的瞎编答案哦。 你可以把大模型的知识想象成一盒五颜六色的积木:它读过的每一个知识点,比如“霸王龙是凶猛的食肉恐龙”“三角龙头上有三个角”“跳皮筋需要用脚勾住皮筋跳跃”,都是不同形状的积木块。遇到问题的时候,它就会从积木盒里找对应的块拼出答案——如果问“霸王龙吃什么”,它刚好有“霸王龙”和“食肉恐龙”两块,拼出来的答案自然是对的;但如果问“三角龙会不会跳皮筋”,它只有“三角龙”“跳皮筋”“角是坚硬的”这几块,拼不出正确答案,就会随便拿几块看似相关的积木凑,比如拿“角可以卡住东西”“前肢短不方便活动”的块,拼出“三角龙用角卡住皮筋跳得更好”的离谱答案,这就是我们看到的“瞎编”。 再举个你肯定有共鸣的例子:如果你问大模型“我们班上周六一班和二班的足球比赛谁赢了”,它根本不知道你们班有没有组织这场比赛,也不知道比赛结果,这就是出现了非常大的知识缺口。但它不想说“我不知道”,就把“足球比赛有胜负”“二班守门员上次比赛摔过”“一班男生跑步速度快”这些零散的知识点拼在一起,编出“一班赢了,因为二班守门员中途摔倒了”的答案,看起来细节丰富特别可信,但完全是凭空编的,因为它根本没有你们班比赛的相关信息。 > 小思考:你可以现在就拿刚才大模型说的“三角龙跳皮筋更厉害”的答案测一测常识:三角龙的角是长在头顶上的,跳皮筋的时候要低头勾皮筋,角肯定会戳到地面呀,它的头那么重,跳起来肯定摔跤,这么一想,你就知道这个答案一看就不符合常识,肯定是瞎编的对吧? 有小朋友可能会问:那大模型会不会故意骗人呢?大部分情况下是不会的,它没有人类“故意撒谎”的心思,所有回答都是基于它“读”过的内容拼出来的。只有一种特殊情况例外:如果有人故意给它喂大量假内容,比如写几百篇“三角龙会跳皮筋”的假文章塞到它的“书堆”里,它就会把这些假内容当成真实知识记下来,到时候回答就会说假话。不过现在工程师都给大模型装了“防骗小盾牌”,会先把喂进去的内容验一遍真假,把明显的假内容筛出去,不让坏人教它说假话哦。 刚才我们教你的搭建个人小知识库的方法,还有个特别好玩的进阶玩法:每周往你的小知识库里加1本新读的书,比如这周你读了《昆虫记》,就把《昆虫记》放到科普类的格子里,下周你可以试试问自己“蜻蜓点水是在做什么”,翻书就能找到“蜻蜓点水是在产卵”的正确答案,不用瞎编,是不是特别有成就感?你加的书越多、分类越清楚,你的小知识库就越厉害,能回答的问题就越多,就像小智现在已经把《恐龙大百科》《昆虫记》《乘法口诀表》都放进去了,除了恐龙和数学问题,还能回答好多昆虫相关的小问题呢。 小智攥着地图刚要走,图书馆管理员阿姨又把他叫住了,笑着递给他一本画着卡通图案的小册子:“这是知识城堡的入门指南,你先拿着看,到了城堡先找门口的张师傅,他教的第一招‘辨真伪’,就是专门解决大模型瞎编问题的。张师傅有三件法宝:第一件是‘常识尺’,能量一量大模型的回答符合不符合生活常识;第二件是‘来源镜’,能照出大模型的回答是从哪本书里来的;第三件是‘交叉验证笔’,能同时查好几本相关的书,看答案是不是一致的。你先把这三件法宝的原理搞懂,就算还没到城堡,也不会被大模型的瞎编答案骗啦。” 小智接过小册子,翻开来第一页就画着那三件亮闪闪的法宝,旁边写着“辨真伪三招:一测常识,二找来源,三交叉验”,他眼睛一下子亮了,原来不用等到了城堡,现在就能先学起来啊!他摸了摸口袋里自己整理的小知识库笔记,又攥紧了地图,对着管理员阿姨挥挥手:“阿姨再见!我学会辨真伪就回来给您讲!” 说完他就蹦蹦跳跳地往家走,路上还拿着小册子翻来覆去地看,已经开始琢磨怎么用常识尺测刚才大模型说的“三角龙跳皮筋”的答案了:三角龙的角那么长,跳皮筋的时候低头,角肯定会戳到地面呀,这个答案一看就不符合常识,肯定是瞎编的!
本章小结
今天我们终于搞懂了第一个谜题:大模型“说谎”从来不是故意要骗人,本质是两件事共同导致的:第一,它的学习逻辑就像小朋友读书,只会记住零散的知识点和规律,不会把所有的内容都死记硬背,遇到没学过的内容就会出现“知识缺口”;第二,工程师给它设定的规则是“优先给出有用的回答,不要随便说不知道”,遇到知识缺口时,它就会把零散的知识点拼凑成看起来合理的答案,本质上和我们考试遇到不会的题瞎写答案、帮同学编答案的逻辑一模一样。 我们也知道了“知识库”就是存放正确答案的“小书架”:不管是人还是大模型,知识库里的内容越多、分类越清楚,遇到问题时能找到正确答案的概率就越高,瞎编的概率就越低。遇到不知道的问题,诚实地说“我不知道”从来不是丢人的事,反而比瞎编一个错误答案靠谱得多。 接下来的旅程里,小智会先跟着知识城堡的张师傅学会“辨真伪三招”,一眼看穿大模型的瞎编答案,再跟着李老师学会怎么给大模型的知识库“补书”,让它越来越少说谎。你是不是也和小智一样好奇,这三招到底该怎么用呢?下一章,我们就一起跟着小智去知识城堡,学第一招“常识尺”的用法吧!