AI也会「失忆」？——从一次对话开始理解上下文
第 1 章：AI也会「失忆」？——从一次对话开始理解上下文
小明的烦恼：为什么AI总是记不住
小明最近很困扰。他花了一整个周末和AI助手讨论他的科学课作业——关于太阳系行星的研究报告。他先告诉AI自己的学校、年级、兴趣爱好，然后详细描述了报告的要求：需要介绍八大行星的特点，要包含有趣的小知识，还要做成可以演示的格式。AI很热情地回应了，给了他很多建议。
周一上学时，小明想继续完善报告，于是打开对话继续聊。他问AI：“帮我把火星的部分再扩展一下。”结果AI一脸茫然，反问：“请问您需要什么帮助？”小明愣住了——他明明上周聊了那么多，怎么AI什么都不记得了？
更让小明郁闷的是接下来的对话。当他试图重新解释自己的需求时，AI一会儿说“好的，我会帮您写报告”，一会儿又问“您是小学生还是中学生”，甚至在介绍行星知识时把木星说成了“太阳系最大的卫星”——这显然是错误的。整整一个小时的对话，小明感觉自己在和一台不断失忆的机器交流，每次都要从头解释，最后报告没写成，还被错误信息误导了。
这种体验很多人都不陌生。我们和AI对话时，常常会遇到这样的尴尬时刻：明明聊过很多，AI却像“金鱼记忆”一样什么都不记得；或者AI突然说出明显矛盾的话，比如前一句说“我理解您的需求”，后一句又问“您想要什么”。小明遇到的问题，其实揭示了理解AI的一个关键——上下文。
上下文是什么：AI理解对话所需的全部信息
要理解上下文，我们先来做一个小实验。想象你收到朋友发来的这样一条消息：
> “三点老地方见！”
看到这句话，你会怎么反应？如果你和这位朋友有共同的朋友圈，有你们熟悉的“老地方”，你可能立刻就知道该去哪里。但如果是一个陌生人发来的这条消息，你肯定会一头雾水——三点是哪天？老地方是哪里？和谁见面？
同样一句话，为什么对不同人的意义完全不同？因为理解一句话，需要的不仅仅是文字本身，还需要周围的信息——说话的背景、之前聊过的话题、双方共同知道的事情。这些围绕在核心信息周围的、帮助理解的信息，就是上下文（Context）。
对于人类来说，这种理解是自动发生的。我们从小就在学习如何理解“言外之意”、“弦外之音”，我们的大脑会自动收集和运用上下文信息。但对于AI来说，上下文并不是自动获得的——它需要被明确地“告诉”AI，或者被放进一个特定的“容器”里。
上下文就是AI在处理当前对话时，需要参考的所有信息。 这些信息包括：你之前说过的话、AI之前给出的回复、你们讨论过的具体内容、你提供过的背景信息，甚至可能包括某些隐含的约定和常识。
听起来好像没什么特别的？人类对话不也是这样吗？关键的区别在于：人类可以自然地记住和使用上下文，而AI必须在每一次对话中重新接收这些信息。 这就引出了我们接下来要讨论的核心问题。
上下文就像AI的「工作台」
让我们用一个生活中的比喻来更清楚地理解上下文。想象一位厨师在厨房里工作。他的面前有一张工作台，所有正在处理的食材、正在使用的工具、正在阅读的菜谱，都放在这张工作台上。厨师只能看到工作台上的东西——如果一个食材被放进了柜子，他就无法使用它；如果一张重要的菜谱页被翻过去了，他可能就忘了上面的步骤。
AI的上下文窗口（Context Window）就像这张工作台。它是AI在“思考”时能够访问的信息空间。你和AI说的每一句话、你提供的每一段文字、你问的每一个问题，都像是被放在这张工作台上的材料。AI在生成回复时，只能“看到”和“使用”工作台上的材料。
这就是为什么小明会遇到那些问题。当小明第一次和AI聊天时，所有关于他学校、年级、作业要求的信息都放在了AI的工作台上，所以AI能够很好地理解和回应。但当小明关闭对话、第二天重新开始时，AI的工作台被清空了——所有之前放上去的信息都不见了，所以AI完全不记得之前的对话内容。
当你问“帮我把火星的部分再扩展一下”时，AI的工作台上只有这句话本身。它不知道“火星的部分”是什么，不知道你在做什么报告，不知道你之前讨论过什么——因为这些信息不在它当前的工作台上。
上下文窗口的大小，决定了AI能同时记住多少信息。 就像工作台的大小决定了厨师能同时处理多少食材一样，一张小工作台只能放几样东西，东西多了就只能把之前的收起来或者扔掉；一张大工作台可以同时摆很多东西，处理复杂的任务也更从容。
不同的AI工具，就像拥有不同大小工作台的厨房。有的AI的工作台很小，只能记住很短的对话；有的AI的工作台很大，可以处理很长的文档。这不是AI“笨”或者“聪明”的问题，而是工作台大小的限制。
揭示问题：上下文长度限制导致的信息丢失
现在我们理解了上下文和上下文窗口的概念，但你可能会想：那不是很简单的问题吗？给AI一个大一点的工作台不就行了？
事情没那么简单。这里有一个根本性的技术限制：上下文窗口的长度是有限的。
这种限制来自几个方面。首先是计算成本。AI处理信息并不是免费的——它需要消耗计算资源。当上下文变长时，AI需要处理的计算量会呈指数级增长。这就像你读一本10页的书和读一本1000页的书，所需的时间和精力差异是巨大的。如果把上下文无限延长，计算成本会高到无法承受。
其次是技术架构。当前主流的AI模型在设计时就有固定的最大上下文长度限制。就像一条高速公路有设计的最高车流量，不是想让它通过多少车就能通过多少车。工程师们在设计AI时，需要在能力、成本、性能之间做权衡，设定一个合理的上限。
当对话变得很长，或者处理的内容很大时，有限的上下文窗口就会导致一个严重的问题：信息丢失。
让我们用一个更具体的例子来说明。假设你有一张只能放5张便签纸的工作台。当你只放5张纸时，所有信息都能被记住。但当你开始放第6张时，你必须把第一张拿掉；放第7张时，第二张也被迫离开。旧的信息被新的信息挤出去了，就像“金鱼记忆”一样。
在AI的语境中，这种现象表现为：当对话很长时，早期的对话内容会被“挤出”上下文窗口。AI开始“忘记”你们最初讨论的内容，回复变得不一致，甚至可能出现前后矛盾的情况。这就是小明遇到的另一个问题——AI一会儿说理解了需求，一会儿又问基本信息，因为早期的信息已经被挤出去了。
信息丢失不仅发生在对话很长的时候。如果你在对话中一次性输入很长的文本（比如一整本书），AI可能只记住了后半部分，前半部分的内容就“消失”了。这也是为什么有时候你粘贴一段很长的文章给AI，然后问开头的内容，AI会说“我不太清楚”或给出完全错误的答案——因为开头的内容可能根本没被装进工作台。
这里有一个重要的认知需要建立：AI的“记忆”和人类的记忆完全不同。 人类可以主动回忆很久以前的事情，可以从记忆深处挖掘信息。但AI只能在当前的工作台上“看到”信息——工作台之外的一切，对AI来说就像不存在一样。这不是AI的缺陷，而是当前技术架构的本质特点。
实践练习：观察AI的上下文限制
理解了上下文窗口的概念后，让我们通过一个小实验来亲身体验这个现象。这个实验不需要任何编程知识，只需要你和任意一个AI对话工具。
实验准备：
- 一个AI对话工具（如ChatGPT、Claude、文心一言等）
- 纸笔记录实验过程
实验步骤：
第一步：短期对话测试。 向AI问一个简单的问题，比如：“请告诉我世界上最高的山是什么？”记录AI的回答。然后问第二个问题：“这座山有多高？”记录AI的回答。注意观察第二个回答是否正确引用了第一个问题中的信息。
第二步：模拟“失忆”。 关闭对话（如果你的工具支持新建对话）。然后直接问AI：“我们刚才讨论的那座山，现在请告诉我它的高度。”观察AI的反应——它是否能记住你们刚才聊过的话题？
第三步：测试上下文边界。 新建一个对话。首先告诉AI一段很长的背景信息，例如：“我的名字叫张三，我在XX学校读八年级，我的爱好是篮球和音乐，我正在做一个关于环保的研究报告，需要介绍三种污染类型和对应的解决方案。”等待AI确认理解。
然后继续对话，问一些关于你刚才提供背景的问题，比如：“根据我刚才说的，我的爱好是什么？”看看AI能否正确回答。如果回答正确，再继续深入问更多问题，直到你感觉到AI开始“忘记”某些背景信息。
第四步：观察不一致性。 在一个较长的对话中（大约20轮以上），故意让AI给出一些陈述，然后过几轮后问一个会让AI需要回忆之前陈述的问题。例如，你先说“我的偶像是科比”，然后聊很多其他话题，10轮后再问“我的偶像是谁”。注意观察AI是否会出现记忆模糊或前后不一致的情况。
实验记录要点：
1. 当你关闭对话再打开时，AI是否记得之前的内容？ 2. 当对话变得很长时，AI最早说的内容是否还能被正确回忆？ 3. AI在什么情况下开始出现“失忆”或“混乱”的现象？ 4. 不同长度的输入，是否会影响AI的处理？
通过这个实验，你应该能更直观地感受到上下文窗口的存在和限制。这个实验的发现，将帮助我们理解为什么需要“模型上下文工程”——一套系统性的方法，来更好地利用和管理AI的上下文能力。
模型上下文工程：让AI的“记忆”更可靠
现在我们理解了一个核心问题：AI的上下文窗口是有限的，不当使用会导致信息丢失和对话混乱。但这只是问题的一半。
问题的另一半是：即使上下文窗口有限，如果我们能更聪明地使用它，就能大大提高AI的表现。
这就引出了本书的核心主题——模型上下文工程（Model Context Engineering）。
模型上下文工程不是改变AI的底层技术，而是在使用层面的一套方法论。它研究的是：如何组织和呈现信息，让AI能够最有效地理解和处理我们的需求。
就像同一张工作台，放在不同的厨师手里，效率可能天差地别。有的厨师会合理安排材料的摆放顺序，把常用的放在手边，把不常用的分类收纳；有的厨师则是乱七八糟堆在一起，找东西都要半天。用好上下文窗口，也需要类似的“整理术”。
举一个简单的例子。小明的问题其实有很多解决方式。如果他在长对话中，定期在AI的“工作台”上放一个提醒——“请记住，我叫小明，在XX学校读书，正在做太阳系行星的研究报告”——这些提醒就像在工作台上贴便签，让AI随时能看到关键信息。哪怕对话很长，只要不断“刷新”这些提醒，AI就不容易忘记。
又或者，如果小明学会了一种叫角色扮演的技巧——一开始就说“我现在是一个八年级学生，正在做一个关于太阳系行星的科学报告，需要你的帮助”——这句话就像给AI一个“锚点”，让它理解整个对话的背景。当对话变得混乱时，这个锚点可以帮助AI回到正确的方向。
这些技巧，都属于模型上下文工程的范畴。它们不是“作弊”或“hack”，而是基于对AI工作原理的深入理解，发展出来的最佳实践。
在接下来的章节中，我们将系统地学习这些技巧。从最基础的信息组织原则，到高级的对话策略；从单个问题的优化，到复杂项目的整体规划。通过这些学习，你将掌握一套完整的“上下文工程”工具箱，让AI真正成为你学习和生活中的得力助手。
记住：好的上下文工程，不是让AI变得更聪明，而是让我们能更好地发挥AI现有的能力。 即使是最好的厨师，给他一张杂乱的工作台也做不出好菜；反之，即使是普通厨师，给他一张整洁有序的工作台，也能做出像样的菜肴。接下来的旅程，就是学会如何为AI打造一张最好的“工作台”。
本章小结
本章从小明和AI对话的“失败”经历开始，引入了一个核心概念：上下文。上下文是AI理解和处理对话所需的全部信息，包括之前说过的话、提供的背景、讨论过的内容等。理解上下文，是理解AI行为的关键。
我们用工作台的比喻来帮助理解上下文窗口的概念。AI的上下文窗口就像一张工作台，它的大小决定了AI能同时处理多少信息。所有需要AI参考的信息，都必须放在这张工作台上；不在工作台上的信息，对AI来说就像不存在一样。
上下文窗口的长度是有限的，这种限制来自计算成本和技术架构两个因素。当上下文窗口被填满时，旧的信息会被新的信息“挤出”，导致AI出现“失忆”和前后不一致的现象。这就是为什么长对话中AI可能忘记早期讨论的内容，也是为什么我们需要系统性的方法来管理上下文。
基于这些理解，本章引出了本书的核心主题：模型上下文工程。模型上下文工程不是改变AI本身，而是在使用层面发展出的一套方法论——如何组织和呈现信息，让AI能够最有效地理解和回应我们的需求。
本章的实践练习让我们亲身体验了上下文限制的现象。通过观察AI在不同场景下的表现，我们能更直观地理解为什么需要学习上下文工程。
下一章，我们将深入探讨上下文窗口的具体技术细节，了解它是如何工作的，以及不同大小的上下文窗口对AI表现有什么影响。这些知识将为我们后续学习具体技巧打下坚实的基础。
一次完整的「失忆」体验：小明的真实对话记录
让我们回到小明的故事，这次把他的完整对话记录下来。这段对话会清楚地展示上下文问题是如何在实际使用中发生的。
【第一天对话】
> 小明：你好，我是一个八年级学生，正在做一个关于太阳系行星的科学报告。我需要介绍八大行星的特点，每个行星要有3-5个有趣的冷知识，还要做成可以演示的格式，方便在课堂上展示。你能帮我吗？
> AI：当然可以！很高兴帮你做太阳系行星的科学报告。我是认真的，让我先确认一下基本要求：你要介绍八大行星，每个行星3-5个冷知识，演示格式。我会为每个行星创建包含基本信息、趣味知识和视觉建议的演示内容。我们从哪里开始？
> 小明：太好了！先从水星开始吧。
> AI：[详细介绍了水星的特点，包括距离太阳最近、公转周期短、表面温度变化大等信息]
> 小明：太棒了！继续说金星。
> AI：[详细介绍了金星的逆向自转、厚重大气层、表面压力等信息]
> 小明：很好。现在轮到地球了。
> AI：[详细介绍了地球的适宜生命、大气层、海洋、月球等信息]
> 小明：地球的内容很棒！接下来是火星，我们红色星球。
> AI：[详细介绍了火星的红色外观、奥林帕斯山、曾经有水的证据等信息]
> 小明：完美！我要休息一下了，明天继续聊。谢谢你！
> AI：不客气！明天继续时，记得告诉我要讲哪个行星——木星、土星、天王星还是海王星。我们会完成一个精彩的报告的。好好休息！
【第二天对话】
> 小明：继续帮我做报告，下一个说火星吧。
> AI：当然可以！火星是太阳系中备受关注的行星之一。它有着独特的红色外观，这是因为表面的氧化铁（铁锈）。火星有很多有趣的特点，比如……
> 小明：等等，我们昨天已经讨论过火星了。你介绍过它的红色外观、奥林帕斯山、曾经有水的证据。你怎么又从头开始了？
> AI：抱歉，我不明白你说的是什么。我是一个AI助手，我没有昨天的对话记录。我们之间的对话在每次会话开始时都是从零开始的。请告诉我你需要什么帮助。
> 小明：我昨天告诉过你我是八年级学生，在做太阳系行星的报告。我们已经讨论了水星、金星、地球和火星四个行星了。
> AI：我理解你的困扰。让我解释一下：我作为一个人工智能，我没有持续的记忆。每次开始新的对话时，我只能看到当前对话中的内容，不会记得之前的对话。这不是bug，这是我的工作方式。如果你想让我记住之前讨论的内容，你需要在每次对话开始时提醒我，或者在当前对话中提供背景信息。
小明现在遇到了很多人都会遇到的情况。他需要重新开始解释自己的身份、需求和之前的讨论内容。更糟糕的是，当他在重新描述需求时，因为记忆不够准确，开始出现一些信息混乱。
> 小明：好的。我是一个八年级学生，需要做一个太阳系行星报告。已经讨论过水星、金星、地球和火星。我希望每个行星有3-5个冷知识。
> AI：明白了。不过我注意到你提到了“地球”的信息，但我没有你之前关于地球的对话记录。能否再详细说一下你对地球部分的要求？
> 小明：我们昨天说过的呀！地球的特点包括适宜生命、大气层、海洋、月球。
> AI：了解了。不过我有点困惑——地球是行星，而月球是地球的卫星，不是行星。你是想在报告中同时介绍地球和月球吗？
> 小明：不是的，昨天是分开的。我说的是地球有月球这个卫星，不是把它们并列介绍。
> 小明：我们继续吧，木星是什么情况？
> AI：木星是太阳系中最大的行星……
> 小明：等等，你说的不对。木星不是最大的行星吗？
> AI：对不起，我的上一条回复可能有错误。木星确实是太阳系中最大的行星。它的质量是所有其他行星质量总和的两倍多……
这段对话清楚地展示了问题的根源：小明以为他在和同一个AI交流，但AI每次对话都是全新的开始。更严重的是，小明自己的记忆也在变得混乱——他把地球和月球的信息搞混了，而AI的回复中自己也出现了前后不一致。
为什么会这样：深入理解上下文丢失
小明的案例帮助我们看到了问题的表现，但要真正解决问题，我们需要理解为什么会这样。
当前主流的AI对话助手，比如我们常用的一些聊天工具，本质上是每次对话独立运行的。当你打开一个新对话时，AI的“记忆”被完全清空，就像一台刚启动的电脑。你之前说过的话、提供过的信息、讨论过的内容，全都消失了。
这与人类的社交记忆形成了鲜明对比。假设你和一个朋友聊天，然后第二天再见面，你们之间的友谊、之前的对话内容、共同的经历都在你们的关系中保留着。即使聊到之前的话题，你们也能自然地接续。
AI没有这种“关系记忆”。它不会记得你是谁，不会记得你们之前聊过什么，甚至不会记得它在当前对话中几分钟前说过的话——如果那些内容超出了它的上下文窗口限制。
让我们更精确地理解这个限制机制。现代AI模型在处理文本时，有一个被称为上下文窗口的参数，它定义了AI在一次对话中能够“看到”和处理的最大文本量。这个量通常以token为单位计算。简单来说，token可以理解为一个单词或单词的一部分。例如，“太阳系”可能是一个或两个token，“行星研究报告”可能是两到三个token。
不同的AI系统有不同的上下文窗口大小：
- 早期的小型AI模型可能只有几千个token的限制，大约相当于几千个英文单词或几千个汉字
- 中等规模的模型可能有几万到十几万个token
- 大型商业AI系统可以达到几十万甚至上百万token
这个数字看起来很大，但实际使用中很快就会被填满。考虑一个典型的长对话：假设你每轮对话平均输入100个token、输出200个token，50轮对话就会累积15000个token。如果模型的上下文窗口只有8000个token，后面的对话就会开始丢失前面的内容。
信息丢失是按顺序发生的，不是随机选择的。 想象一个固定容量的水桶，当你往里面倒水时，最早倒进去的水会从顶部溢出来。AI的上下文窗口也是这样——当新内容进入时，最早的内容会被“挤出”窗口。
这