第一课：当AI阅读一本百科全书
第一课：当AI阅读一本百科全书
考场上的奇怪问题
阳光从窗户斜斜地照进来，在课桌上投下一片金色的光斑。小明深吸一口气，握紧了手里的铅笔。
这是AI学院的入学测试。最后一道题目出现在屏幕上：
“请介绍一下你自己，然后告诉AI学院，你为什么想要学习人工智能。”
这有什么难的？小明提起笔，正准备写下早已准备好的自我介绍，却发现屏幕上多了一行小字：
“请直接对着麦克风讲述，时间限制为30秒。”
小明愣了一下。30秒？介绍自己绰绰有余，但问题是——他要把这些话讲给谁听？
就在这时，教室前方的讲台上，一个银白色的机器人缓缓转过身来。它有着圆润的外壳，胸前嵌着一块淡蓝色的屏幕，此刻正闪烁着柔和的光芒。
“欢迎来到AI学院入学测试，”机器人的声音温和而平稳，“我是你的测试接待员，代号Echo。请开始你的自我介绍。”
小明盯着这个机器人，心里涌起一阵好奇。Echo——回声？这个名字似乎有什么特别的含义。
“呃……好吧，”小明清了清嗓子，“我叫小明，今年十三岁，来自阳光市第三中学。我从小就喜欢捣鼓各种电子产品家里的智能音箱、扫地机器人、甚至爸爸的那个会自己割草的除草机，我都拆开研究过……”
他越说越起劲，话题从拆电器延伸到了对人工智能的向往，又谈到了最近读到的一篇关于机器学习的科普文章。他甚至提到了自己养的那只叫“豆豆”的猫，因为它居然学会了用爪子按智能门铃的按钮……
30秒的时间转瞬即逝。当小明确认自己说完了之后，屏幕上的Echo微微欠身：“好的，我已经收到了你的自我介绍。”
小明满意地点点头——毕竟他把自己最精彩的部分都展示出来了。
然而下一秒，Echo的话让他的笑容僵在了脸上。
“请问，”机器人问道，“你刚才提到的第三中学，是哪个年级呢？”
小明眨了眨眼：“我刚才说过了呀，我就是第三中学的学生，今年……”
他突然意识到哪里不对——Echo明明应该听到他刚才说的所有内容，可为什么现在却只记得“第三中学”，却忘了具体是几年级？
“抱歉，”Echo平静地说，“我的记忆容量有限。在刚才的30秒对话中，你说了大约150个汉字，但我的'工作记忆'只能保存最近的50个汉字左右的内容。所以，当你谈到养猫和智能门铃的时候，我前面说过的学校和年级信息已经被挤到记忆之外了。”
小明瞪大了眼睛。他完全没有想到，这个看起来高大上的AI接待员，竟然会“记不住”自己刚刚说的话。
这个奇怪的现象，就是我们今天要探讨的核心问题：AI的视野究竟有多大？它一次能看到多少信息？
---
什么是上下文窗口
要理解Echo为什么会出现“健忘”的现象，我们需要先认识一个关键概念——上下文窗口（Context Window）。
想象一下，当你阅读一本书时，你的眼睛一次只能看到书页上的一个区域。也许你会逐字逐句地看，也许你会一目十行，但无论如何，你永远不可能在同一瞬间看到整本书的全部内容。
上下文窗口就像是AI的“视野”。它定义了AI在处理任意一个问题时，能够同时“看到”的最大信息量。这个信息量不是按照书的页数来计算，而是按照一种叫做Token的单位来衡量的。
什么是Token？你可以把Token理解为文字的“积木”。在中文里，一个Token通常对应一到两个汉字；在英文里，一个Token大约等于一个单词的四分之三。但更重要的是理解它的本质：Token就是AI处理信息的基本单元。
回到Echo的例子。在30秒的自我介绍里，小明说了大约150个汉字。按照中文Token的换算规则，这相当于大约120个Token。而Echo的上下文窗口大小只有50个Token左右——这意味着，当小明说到第51个Token的时候，前面的第1个Token就会被“挤出去”，从Echo的视野中消失。
这就解释了为什么Echo能记住“第三中学”这几个字，却忘记了小明是几年级。因为当小明谈论学校的时候，这个信息刚刚进入Echo的窗口；但随着对话的继续，年级的信息被推到了窗口的边缘，最终被新到来的信息覆盖了。
用一个更形象的比喻来说：上下文窗口就像是一条传送带。当新的Token从一端进入时，旧有的Token就会从另一端滑落。你输入的内容越多，早期输入的内容就会被越快地遗忘。
这就是为什么Echo会“忘记”小明说过的话——不是因为它的存储系统出了故障，而是因为它的工作记忆容量是有限的。这种有限性不是缺陷，而是当前人工智能技术的一个基本特征。
```mermaid graph LR A[小明说话] --> B[信息进入<br/>上下文窗口] B --> C[窗口容量有限<br/>只能容纳约50个Token] C --> D[新信息不断涌入] D --> E{窗口是否已满?} E -->|未满| F[新信息加入] E -->|已满| G[旧信息被挤出] F --> H[Echo现在能"看到"] G --> H H --> I[早期信息如<br/>"几年级"被遗忘] ```
---
为什么不同的AI有不同的记忆力
故事到这里还没有结束。在入学测试结束后，小明遇到了同样来参加测试的同学小红。
“你觉得刚才那个测试怎么样？”小红好奇地问。
“挺有意思的，”小明若有所思地说，“不过有个奇怪的地方——那个Echo好像记不住我说过的所有话。但我之前在家里用过一个AI聊天软件，它就能记住我们整个对话的历史啊！”
小红点点头：“我也注意到了。说不定不同的AI，它们的'记忆力'是不一样的？”
小明的猜测完全正确。上下文窗口的大小因不同的AI模型而异。就像不同的人有不同的记忆力一样，不同的人工智能系统也有不同的信息处理容量。
让我们来看几个例子：
早期的对话AI，上下文窗口可能只有几百个Token。这意味着它们只能同时“记住”几百个汉字的内容。当对话稍微长一些，AI就会开始忘记之前说过的话，常常出现前后矛盾的情况。用户体验就像是和一个严重健忘的人聊天——你刚刚说完的话，他转眼就忘了。
而目前最先进的AI大模型，上下文窗口已经可以达到数十万甚至上百万个Token。以当前主流的大语言模型为例，GPT-4 Turbo的上下文窗口约为12.8万个Token，Claude 3支持20万个Token，而某些国产模型的上下文窗口甚至超过了100万Token。
100万个Token是什么概念？如果按照中文来计算，这大约相当于500万到600万汉字——相当于一整部《三国演义》的长度！换句话说，这些最先进的AI可以同时“阅读”并“记住”一整部古典名著的内容，而不会丢失任何细节。
但是，这并不意味着窗口越大就越好。大窗口意味着更高的计算成本和更慢的处理速度。就像你不可能要求一个人在一秒钟内读完并记住一整本书的内容一样，AI处理大量信息也需要时间。所以在实际应用中，人们会根据具体需求选择不同大小的上下文窗口。
不同的应用场景需要不同的上下文窗口：
- 简单的问答机器人可能只需要几百个Token的窗口，因为它们只需要理解用户当前的问题并给出回答，不需要记住太多背景信息。
- 写作辅助工具可能需要几千个Token的窗口，这样才能记住用户的写作风格和之前的修改意见。
- 长篇小说分析则需要几十万个Token的窗口，这样才能同时处理整本书的内容，进行跨章节的人物关系分析或情节梳理。
小明听完这些信息，若有所思地点了点头：“所以AI的'记忆力'是可以通过技术进步来提升的？那未来的AI会不会变得像人一样，能够记住所有说过的话？”
Echo的声音从旁边传来，似乎听见了小明的自言自语：“目前的技术还没有达到那个水平。不过，通过一些巧妙的策略，我们可以在有限的窗口内尽可能多地保留重要信息。这正是我们接下来要探讨的内容。”
---
AI是怎么“忘记”的
回到教室，小明还在思考Echo的“记忆问题”。他决定亲自做一个实验，看看AI到底是怎么“忘记”信息的。
在AI学院提供的实验系统里，小明输入了以下一段话：
> “小明是一位来自阳光市的中学生。他今年13岁，在第三中学读二年级。他的爱好是研究电子设备，家里有各种智能产品。他养了一只猫叫豆豆。他还喜欢打篮球，是班级篮球队的成员。他的梦想是成为一名人工智能科学家。”
这是一段大约120字的信息。假设Echo的上下文窗口只能容纳50个Token，小明想看看哪些信息会被保留，哪些会被“遗忘”。
实验结果非常有趣。当小明让Echo复述这段话时，它说：
> “根据我收到的信息，有一个中学生，他养了一只猫叫豆豆。他喜欢打篮球，是班级篮球队的成员。他的梦想是成为人工智能科学家。”
小明立刻发现了问题！Echo保留的信息包括：养猫（豆豆）、爱好（打篮球）、篮球队成员、梦想。但丢失的信息包括：姓名（小明）、城市（阳光市）、年龄（13岁）、学校（第三中学）、年级（二年级）、爱好（研究电子设备）、家里的智能产品。
为什么这些信息会被遗忘？这就要提到信息位置与记忆的关系了。
在当前的AI架构中，上下文窗口内的信息并不是被平等对待的。越接近窗口末端的信息，越容易被记住；越靠近窗口前端的信息，越容易被遗忘。这被研究者称为“位置衰减”现象。
原因其实很直观：当新的信息不断涌入时，最早进入的内容会被不断地推向窗口的边缘，直到最终滑落出去。就像河流中的漂浮物，离岸越远的越容易被冲走。
这也解释了为什么小明最初的自我介绍中，学校信息被遗忘了——因为在30秒的对话里，小明滔滔不绝地讲述了很多内容，而“几年级”这个信息出现在较早的位置，后来涌入的关于猫、关于智能门铃的信息把它挤出了窗口。
有趣的是，AI并不是有选择性地“忘记”某些信息。它只是按照位置规则机械地丢弃窗口边缘的内容。这就像是一个容量有限的容器，新的东西进来，旧的东西就会出去，与内容的重要性无关。
这个特性在日常使用中会带来一些令人困惑的体验。比如：
你让AI帮你写一封信，写到一半时你说“等一下，我想改一下开头”。然后你给出了新的开头，AI确实按要求修改了，但当你继续说“后面的内容保持不变”时，AI可能会忘记你最初提到的某些重要细节——因为新输入的内容占用了窗口空间，把早期的细节信息挤了出去。
又比如，你在和AI聊天时提到了一些关键信息，但在几个小时后继续对话时，AI完全不记得这些信息了。这是因为每次新的对话都会从空白的窗口开始，之前的上下文早就被“清理”出去了。
理解这一点非常重要。它告诉我们：在与AI交互时，要把最重要的信息放在对话的最后部分，或者在每次新的交互中主动重复关键信息。
---
当百科全书遇上有限视野
入学测试结束后，小明带着满满的疑问走进了AI学院的第一堂课。
讲台上，艾博士——一位头发花白但眼神锐利的老教授——正在黑板上画着一个巨大的方框。
“同学们，”艾博士开口说，“今天我们要回答一个看似简单的问题：如果让AI阅读一整本百科全书，会发生什么？”
台下的学生面面相觑。一本百科全书？那得有多少内容啊！
“根据我的了解，”一个戴眼镜的男生举手说，“一本大型百科全书可能有上百万字。”
“没错，”艾博士点点头，“假设一本百科全书有200万汉字，按照Token换算，大约是150万个Token。你们觉得，一个上下文窗口只有12.8万Token的AI，能够一次读完这本书吗？”
答案显然是不能。200万字对12.8万Token的窗口来说，太大了。就像用一个小杯子去装一整缸水，水杯永远也装不下所有的水。
但这个问题的答案远不止“不能”这么简单。艾博士转过身，在黑板上画了一个新的图示：
“在实际应用中，我们有几种不同的策略来让AI'阅读'整本书籍。”
策略一：分段阅读法
这是最直觉的方法。既然窗口装不下整本书，那就把书分成若干部分，每次让AI阅读一部分。
比如，把200万字的书分成16个章节，每个章节大约12.5万字。然后分16次输入，每次喂给AI一个章节。AI每次都能完整地处理一个章节的内容，然后给出总结或分析。
但这种方法有一个严重的问题：AI在阅读第16章的时候，已经完全忘记了第1章的内容。它可以对每个章节做出精准的分析，但却无法建立起章节之间的联系，无法理解整本书的宏观脉络。
想象一下，你让人分段阅读一本历史书，每次只给他看一章，看完就收走。他可以告诉你第一章讲了什么，第二章讲了什么，但他无法告诉你整本书的主线是什么，无法比较不同章节之间的观点差异。
策略二：渐进摘要法
为了解决分段阅读的遗忘问题，研究者想出了另一个办法：在分段阅读的同时，让AI为每个部分生成摘要。
还是上面的例子。当AI读完第一章后，要求它写一个200字的摘要。然后继续读第二章，读完后写第二个摘要……直到读完所有16章。
在这个过程中，AI保留的信息从“每个章节的详细内容”变成了“每个章节的简短摘要”。虽然丢失了很多细节，但至少保留了足够的信息来追踪整本书的发展脉络。
最后，把所有16个摘要一起喂给AI，让它根据这些摘要来回答关于整本书的问题。这样，AI就能在有限的窗口内“记住”整本书的主要内容了。
策略三：索引定位法
第三种策略更加巧妙。想象你有一本书，在阅读过程中，你在每个重要段落的旁边贴上便签，标注这个段落讲了什么内容。
索引定位法的工作原理类似。当AI首次阅读书籍时，它会在每个重要信息点生成一个“标记”——这个标记包含了信息的核心内容和它在原文中的位置。
当用户提出问题时，AI先在索引中搜索相关的信息点，然后根据这些标记去原文的相应位置提取详细信息，再进行综合回答。
这种方法的优势是，即使原书有100万Token，索引可能只需要1万Token就能覆盖最重要的信息。AI可以在窗口内保存索引，同时保留部分原文内容来回答细节问题。
“这就是为什么，”艾博士放下粉笔，看着台下的学生，“你们之前用的一些AI阅读工具能够回答关于'某本书的某个情节'这样的细节问题——它们很可能就是用了索引定位法的变体。”
小明听得入神。他突然想到一个问题：“艾博士，那么哪种策略是最好的呢？”
艾博士微笑着摇了摇头：“这个问题没有标准答案。每种策略都有它的优势和局限。分段阅读能保持局部完整性，但丢失全局视野；渐进摘要能追踪主线，但牺牲细节；索引定位效率高，但依赖索引的质量。”
“在真实的应用中，工程师会根据具体需求选择最合适的方案，甚至会将多种策略组合使用。这就是为什么，理解上下文窗口的概念如此重要——只有清楚地知道AI的'视野'有多大，你才能设计出最有效的解决方案。”
---
学会与有限视野的AI相处
下课铃响了，但小明没有急着离开。他坐在座位上，回想着今天学到的内容。
Echo的“健忘”是因为上下文窗口的容量限制。不同的AI有不同的窗口大小，就像不同的人有不同的记忆力。要让AI“阅读”整本书，需要采用分段、摘要或索引等策略来弥补窗口的不足。
但更重要的是，他意识到：理解AI的局限，是有效使用AI的第一步。
回到家后，小明立刻打开电脑，打开了之前常用的那个AI聊天软件。他决定按照今天学到的方法，重新设计自己的提问方式。
改变一：在长对话中定期重复关键信息
以前，小明和AI聊天时总是想到什么说什么，从不回头确认AI是否记得之前的信息。现在他明白了，由于窗口的限制，AI会逐渐遗忘早期的对话内容。
所以他制定了新的策略：每隔一段时间，就总结一下之前的对话要点，让AI重新“记住”关键信息。比如在长篇故事创作中，每完成一个章节就把前文的主要人物和情节简述一遍，确保AI不会在后续创作中自相矛盾。
改变二：重要的信息放在前面或后面
既然窗口边缘的信息容易被遗忘，那么对于特别重要的内容，最好的位置是窗口的中间——这里既不会被新信息挤掉，也不会被旧信息推走。
但更实用的做法是：在对话开头说明自己的身份和需求（这些会被记住），然后在结尾时再次强调最重要的要求（这些也相对容易被记住）。
改变三：了解工具的能力边界
小明还做了一个实验，看看不同的AI工具到底有多大的“记忆力”。
他用同一个问题测试了三款不同的AI产品：“请复述我在一分钟前说的三句话：1）我喜欢蓝色。2）我的生日是6月15日。3）我养了一只仓鼠叫毛球。”
结果很有意思：只有一款AI完整地复述了这三句话；一款AI只记得第二句和第三句，忘记了第一句；还有一款AI三句话都记错了，把“蓝色”说成了“绿色”。
这个实验让小明深刻地体会到：不能假设AI会记住所有你说的话。在重要的场景中，必要时需要手动提供背景信息，或者使用具有大窗口的产品。
改变四：善用辅助工具
现在的小明已经学会了在需要处理长文本时，使用额外的辅助手段。比如，如果他要让AI帮他分析一篇很长的论文，他会先把论文的主要内容手动总结成一个文档，在每次对话时把这个摘要作为“上下文提示”提供给AI。
这样，即使AI的窗口无法容纳整篇论文，它也能基于摘要和当前的对话来给出有价值的分析。
---
课堂之外的思考
那天晚上，小明躺在床上，思绪还在翻涌。
他想起了Echo——那个只能记住50个Token的AI接待员。它看起来似乎很“弱”，连30秒的自我介绍都记不完整。但如果换一个角度来想，一个能够流畅对话、理解语言、甚至能解释自己为什么会“忘记”的AI，已经是非常了不起的成就了。
人类的记忆也有类似的局限性。认知心理学研究表明，人类的短期记忆（工作记忆）大约能同时保持7±2个信息组块。也就是说，当你在短时间内听到一串数字或单词时，你大概只能记住7个左右。
人类的“上下文窗口”同样有限。我们不可能在同一瞬间处理无限多的信息，也不可能记住每一个细节。
但人类和AI不同的是，人类会使用各种策略来弥补记忆的不足。我们会做笔记、会反复复习、会用联想法把新信息和旧知识联系起来。这些“外部存储”和“认知策略”极大地扩展了我们的实际认知能力。
也许，理解上下文窗口不仅仅是理解AI的一个窗口，更是理解人类认知本身的一把钥匙。
小明闭上眼睛，在心里默默期待着明天的课程。下一课会讲什么呢？如果AI的视野是有限的，那AI是如何理解复杂的逻辑关系和长程依赖的呢？
带着这个问题，他渐渐进入了梦乡。
---
本章小结
本章通过小明参加AI学院入学测试的有趣经历，引出了上下文窗口这一核心概念。我们从Echo这位“健忘”的AI接待员出发，层层深入地探讨了以下关键问题：
核心发现一：上下文窗口决定了AI的“视野”大小。 正如人类的眼睛一次只能看到书页的一个区域，AI在处理信息时也只能同时“看到”一定量的内容。这个容量以Token为单位进行计算，从早期的几百个Token到现在的上百万个Token，不同的AI系统有不同的窗口大小。
核心发现二：窗口边缘的信息更容易被遗忘。 当新的Token不断涌入时，最早进入窗口的信息会被推向边缘，最终滑落出去。这就是为什么在与AI的长对话中，早期提到的关键信息可能会“消失”。理解这一机制对于设计有效的AI交互策略至关重要。
核心发现三：面对超出窗口的信息，需要采用巧妙的策略。 分段阅读