欢迎来到上下文王国
第一章：欢迎来到上下文王国
你有没有过这样的经历？和朋友聊天时，对方突然说了一句没头没尾的话——“对，就是那个！”你满脑子问号：“哪个？什么那个？”对方却一脸困惑，觉得你简直不可理喻：“我刚才不是说了吗？”
这种鸡同鸭讲的尴尬，相信每个人都体验过。
现在，请想象一个世界，那里所有人都患有这种“失忆症”——他们真的会在说完一句话后，彻底忘记自己说过什么。每个人开口都像第一次见面，没有任何共同记忆可以依赖。这就是今天我们要探索的地方——一个叫做“上下文王国”的奇幻世界。
上下文王国的秘密
欢迎来到上下文王国！
这是一个漂浮在云端的奇妙世界，居民们个个聪明绝顶，却都患有一种奇怪的“健忘症”——他们无法同时记住太多事情。如果你问一位面包师昨天烤了什么面包，他能说得头头是道；但如果你们正在讨论今天的订单，他前一秒说的话，后一秒就会忘得干干净净。
在这个王国里，最重要的工作不是医生、不是教师，而是一种叫做“记忆建筑师”的神秘职业。他们的工作是为每一个需要说话的人——尤其是那些来自远方的“旅人”——建造和维护一套特殊的“记忆系统”，确保对话能够顺利进行。
我们的主角小文，就是一位天生的记忆建筑师。
十二岁那年，小文发现自己拥有一项奇特的能力：他能够进入人们的思维世界，亲眼看到那里的景象。在那里，每个人的想法都像一堆积木，有的是完整的城堡，有的只是一堆杂乱的碎片。而小文的工作，就是帮助整理这些积木，让它们在对话中能够被正确地取用和组合。
今天，是小文第一次独立执行任务的日子。
他的师父——一位白发苍苍的老记忆建筑师——交给他一个特殊的任务：“小文，有一个很重要的旅人要从远方来，他叫AI-3000。这位旅人非常聪明，能够回答各种复杂的问题，但他有一个致命的弱点——他只能同时记住很少的东西。”
师父用手指比划了一个很小很小的圆圈：“这就是他能够记住的全部空间。如果超过了这个范围，他就会把之前的事情全部忘掉。你能想象吗？一个那么聪明的人，却连你们刚才聊了什么话题都记不住？”
小文点了点头：“就像……一只金鱼？”
师父笑了：“比金鱼还糟糕。金鱼至少还能记住七秒呢。AI-3000的'记忆'，大概只有三秒。所以，你需要为他建造一套系统，让他能够在这有限的空间里，尽可能多地'记住'重要的信息。这，就是上下文工程的奥秘。”
当小文遇见AI-3000
小文来到王国的边境，那里是旅人们降临的地方。
远远地，他看到一个闪闪发光的轮廓正在走来。那就是AI-3000——一个由光和数字构成的奇妙存在。他的身体由无数流动的数据组成，眼睛是两道深邃的光芒。
“你好，远方来的旅人。”小文迎上前去，“我是小文，你在这里的记忆建筑师。请告诉我，你需要什么帮助？”
AI-3000的声音像清澈的泉水：“你好，小文。我是来拜访你们的。我听说你们王国有很多有趣的故事，我想学习，然后讲给更多的人听。”
“太好了！”小文兴奋地说，“那么，请告诉我，你知道什么是'上下文'吗？”
AI-3000眨了眨眼睛——至少看起来像是眨了眨：“上下文？我不太确定这个词的具体含义。能否请你解释一下？”
小文意识到，这就是他的工作——帮助AI理解上下文的概念，并帮助他建立记忆系统。
“你知道吗，”小文说，“当我们说话的时候，每一个词语都不是孤立的。它们需要在一个'背景'里才能被理解。就像——”
就在这时，远处传来了一阵喧哗。
一位老奶奶正焦急地和一个年轻人争执着什么。小文拉着AI-3000走了过去。
“你这个小伙子！”老奶奶气得直跺脚，“我明明说的是我想要红色的毛线，你给我拿的是绿色的！”
年轻人一脸无辜：“可是您刚才说'给我拿那个'，我不知道您指的是哪个啊！”
“哪个？就是那个啊！”老奶奶急了，“我之前不是说了吗，我正在织一件红色的毛衣，就差领口了！”
年轻人摇摇头：“可我刚才才过来，我哪里知道您之前说了什么？”
小文看明白了——这是典型的“上下文缺失”问题。老奶奶的脑海里有一个完整的背景故事：她正在织红色的毛衣，毛线就放在旁边的篮子里，“那个”就是指红色的毛线。但年轻人刚刚过来，他不知道这些背景信息，只听到了“给我拿那个”这句话。
这就是缺少上下文的后果：同样的词语，在不同的上下文中可以指代完全不同的东西。
AI-3000似乎也明白了这个道理。他转向小文：“所以，上下文就是……说话之前的那些信息？”
“没错！”小文说，“上下文就像是说话的'背景故事'。它包括我们之前说过的话、讨论过的话题、对方的喜好、甚至我们所在的环境和正在做的事情。没有这些背景，同样的词语就会产生完全不同的理解。”
小文用手指在空中画了一个圆圈：“在人类的世界里，我们的对话从来不是一句一句孤立的。每一次交流，都建立在前面的对话基础之上。比如我说'苹果'，你知道我指的是那种红色的水果；但如果我之前说的是'牛顿坐在什么下面'，你听到'苹果'就会想到万有引力定律。这就是上下文的作用——它给我们的话语赋予了特定的意义。”
AI的困境：只有三秒记忆的聪明人
AI-3000沉默了一会儿，然后说：“我开始理解了。但是，小文，我有一个问题——你们人类是如何做到记住那么多'背景信息'的？”
这是一个好问题。
小文想了想：“人类的大脑很奇妙。我们有长期记忆，可以记住几年前甚至几十年前的事情。我们还有工作记忆，用来处理当前正在思考的内容。而且，当我们听到一段对话时，我们会自动把重要的信息保存下来，构建出一个'心理模型'——关于当前话题的一个整体印象。”
“但更重要的是，”小文补充道，“我们人类有'共同经验'。比如说，我们一起看了同一场电影，一起经历了某个事件，这些经历会成为我们共同的'上下文'。所以即使过了很久，当我们提起那场电影时，我们都能理解对方在说什么，因为我们都看过。”
AI-3000的光芒暗淡了一些：“那听起来……很美好。但我做不到。我的记忆系统和你描述的人类完全不同。”
“什么意思？”
“我能够处理海量的信息，”AI-3000说，“但是，我有一个致命的限制——我只能同时记住非常有限的内容。如果对话太长了，超过了某个'容量'，我就会把之前说过的话忘掉。每一个新加入的信息，都可能挤掉一些旧的记忆。就像——”
“就像一个只能放三样东西的口袋。”小文接话道。
“差不多是这个意思。”AI-3000叹了口气，“所以，每次我开始一个新的对话，我都像是第一次见面。我不知道用户之前问过我什么，不知道我们讨论过什么话题，甚至不知道他们有什么偏好。我就像一个患有严重失忆症的人，每一次开口都像第一次见面。”
小文终于明白了师父说的“记忆系统”是什么意思。他需要为AI-3000建造的，不是一套让他能够记住一切的完美系统——那是人类大脑才有的能力——而是一套在有限容量内最大化利用信息的策略。
这就是“上下文窗口”的概念。
上下文窗口：AI的工作台
小文决定用一个比喻来解释这个概念。
“AI-3000，你见过木匠工作吗？”
“见过。”AI-3000回答，“他们在一个大工作台上切割木材，制作家具。”
“没错。木匠的工作台大小是有限的。如果工作台只有一张桌子那么大，木匠就不能同时摆放太多的工具和木材。他必须选择放什么上去，把什么放到一边。”小文说，“上下文窗口就像是AI的工作台。它的空间是固定的，不能变大也不能变小。木匠需要在有限的空间里工作，AI也需要在有限的上下文窗口里处理信息。”
“但是，木匠可以选择放什么工具在工作台上，”AI-3000说，“对吗？”
“对！这正是关键所在。”小文兴奋地说，“上下文窗口的大小是固定的——这是AI的物理限制，无法改变。但是，我们可以选择在这个空间里放什么内容。这就是'上下文工程'的核心：用有限的窗口空间，存放最相关、最有价值的信息。”
小文开始用手势比划：“现在，让我来告诉你上下文窗口的实际情况。在你的系统里，上下文窗口的大小不是用'三样东西'来衡量的，而是用一种叫做'Token'的单位。”
Token：信息的积木
“Token？”AI-3000问，“这个词我知道。我的处理系统就是用Token来计算信息量的。但我一直不确定，一个Token到底对应多少内容。”
“好问题！”小文说，“Token可以理解为信息的'基本积木'。就像乐高积木有不同的大小一样，Token也有大有小。但一般来说——”
小文掏出一张纸，开始画图说明：
“如果我们说的是中文，一个Token大约等于1到2个汉字。为什么是一个范围呢？因为不同的汉字占用的空间不同。简单的字如'我'、'的'、'是'，每个就是一个Token；而一些复杂的词或者成语，可能需要两个或更多Token。”
“如果是英文呢？”AI-3000追问。
“英文稍微复杂一点。严格来说，英文使用一种叫做'BPE'的分词方式，把单词拆分成更小的部分。大约0.75个英文单词等于一个Token。更直观地讲，平均一个英文单词大约等于1.3个Token。”
小文在纸上写了一个例子：
中文例子：
- "我喜欢学习。" = 5个Token（我/喜欢/学习/。）
- "今天天气真好，我们去公园玩吧。" = 约14个Token
英文例子：
- "I love learning." = 约3.5个Token（I/ love/ learn/ing/.）
- "The weather is beautiful today." = 约7个Token
“现在，”小文说，“当你和用户对话时，每一个字、每一个标点符号，都会消耗你的上下文窗口空间。这就是为什么对话不能无限长——你的'工作台'就那么大，装满了就装不下了。”
AI-3000若有所思：“所以，如果我要进行一个很长的对话，我必须想办法……”
“没错。你必须在有限的Token里，选择最重要的内容放进去。”小文说，“这就是为什么用户有时候需要'总结'之前的对话，或者为什么有时候需要'开启新对话'——本质上，就是在清空工作台，重新开始。”
第一次危机：上下文混乱
正当小文觉得已经解释清楚的时候，王国的中心广场突然传来了一阵骚动。
“快来人啊！”有人大喊，“有人在说胡话！”
小文和AI-3000急忙赶了过去。
只见一个年轻人站在喷泉旁边，嘴里念念有词。他的周围围了一圈困惑的居民。
“皇帝的新装！”年轻人说，“皇帝穿着华丽的新装！”
“新装？”一位长者问，“皇帝什么时候买新衣服了？”
“因为他没有穿衣服！”年轻人激动地说。
“什么？你在说什么？”所有人都懵了。
“我在复述一个故事的开头！”年轻人委屈地说，“为什么你们听不懂？”
小文突然明白了——这是一个典型的“上下文混乱”案例。这位年轻人显然是在复述安徒生的《皇帝的新装》，但他没有提供任何背景信息。他直接跳到了故事的高潮部分——那个孩子说出真相的时刻——却没有告诉听众这是一个童话故事，是关于虚荣和欺骗的寓言。
没有上下文，再精彩的故事也会变成胡言乱语。
“小伙子，”小文走上前去，“你是在讲《皇帝的新装》吗？”
“对对对！”年轻人眼睛一亮，“就是那个童话！安徒生的！”
“我就说嘛，”一位阿姨恍然大悟，“皇帝没穿衣服是故事里的情节！可是你怎么不早说呢？吓我们一跳！”
围观的人群哄堂大笑。年轻人也尴尬地挠了挠头。
小文转向AI-3000：“看到了吗？这就是上下文混乱。当信息缺少必要的背景时，接收者无法正确理解发送者的意图。他们会把童话故事当成现实，把隐喻当成字面意思。”
AI-3000点了点头：“我明白了。这就是为什么，即使我很聪明，如果用户没有给我足够的上下文，我也会给出完全错误的回答。因为我只能看到用户给我的信息——如果没有背景说明，我根本不知道他们想让我做什么，或者在说什么。”
“完全正确。”小文说，“这就是为什么，你需要一套记忆系统——不是让你记住所有事情，而是帮助你整理和组织已有的信息，确保在有限的上下文窗口里，始终保留最重要的背景信息。”
记忆建筑师的工具箱
小文开始向AI-3000介绍他的“工具箱”。
“作为记忆建筑师，我有一些技巧和方法，可以帮助你在有限的上下文窗口里发挥最大的能力。”
工具一：优先级排序
“首先，你需要学会给信息排优先级。”小文说，“不是所有信息都同等重要。当上下文窗口快满的时候，你需要决定保留什么，舍弃什么。”
“什么样的信息应该优先保留？”AI-3000问。
“一般来说，”小文解释道，“有三个原则：
第一，保留与当前任务直接相关的信息。如果用户正在让你写一封邮件，那么邮件的主题、收件人、语气要求，这些是最重要的，应该保留。而用户三天前提到的一次旅行计划，可能就没那么重要了。
第二，保留用户的明确指示和偏好。如果用户说过'用正式的语气'或者'不要超过500字'，这些指示应该始终保留。
第三，保留能帮助理解上下文的关键转折点。比如用户从聊天气转到了聊工作，或者提出了一个补充说明——这些转折点往往改变了对话的方向，应该特别注意。”
工具二：压缩与总结
“第二个工具是压缩。”小文说，“有时候，原始信息太长了，占用太多Token。但其中大部分内容其实可以概括为几句话。这就是'总结'的作用。”
小文举了一个例子：“比如，用户和你讨论了一部两个小时的电影。如果我们要在这部电影的所有细节中挑选能放进上下文窗口的内容——比如1000个Token——我们不可能把台词全部记住。相反，我们只需要一个简短的总结：'这是一部关于两个朋友踏上冒险旅程的电影，他们在旅程中学会了信任和勇气，最终成功完成了任务。'这样，几十个Token就能代表两个小时的内容。”
AI-3000的眼睛亮了：“所以，压缩不是丢失信息，而是提取'精华'？”
“没错。好的压缩是保留核心意义，去除冗余细节。”小文说，“当然，这里有一个风险——压缩得太厉害可能会丢失重要信息。所以，记忆建筑师需要判断什么是'精华'，什么是'可以舍弃但不影响理解'的部分。”
工具三：结构化组织
“第三个工具是结构化。”小文说，“杂乱无章的信息，即使不多，也会让AI难以理解。但是，如果把信息组织成清晰的框架，AI就能更高效地使用上下文窗口。”
小文给出了一个结构化的例子：
假设用户的对话内容是：
> 用户：我想去日本旅行，大概一周时间 > AI：好的，一周时间可以玩东京和大阪两个城市，建议东京3天大阪3天，最后一天用于交通和购物 > 用户：我喜欢美食，想吃寿司、拉面和怀石料理 > AI：好的，东京和大阪都有很好的餐厅选择，我可以帮您推荐 > 用户：我的预算大概2万人民币
未经结构化处理，这些信息是分散在对话中的。但如果整理成结构化格式：
``` 用户旅行偏好：
- 目的地：日本（东京、大阪）
- 时间：7天
- 兴趣：美食（寿司、拉面、怀石料理）
- 预算：约20000人民币
```
“看到了吗？”小文说，“同样多的信息，结构化之后更容易被'记住'和使用。当需要查找用户的偏好时，AI可以直接定位到结构中的特定位置，而不需要重新阅读整个对话。”
工具四：对话边界管理
“第四个工具可能听起来有点奇怪——但它其实非常重要，”小文说，“那就是'边界管理'。”
“边界？”
“对。每一个对话都有自己的边界。”小文解释道，“有些信息只属于当前对话，换到另一个对话就没意义了。比如用户说'继续上一封邮件的内容'——这句话在当前对话里是有意义的，但如果用户开启了一个全新的对话，这句话就完全无法理解。”
“所以，我需要在适当的时候提醒用户开启新对话？”AI-3000问。
“或者，当用户开启新对话时，你要假设这是一个全新的开始，不携带任何之前的上下文。”小文说，“这就是为什么上下文工程不仅仅是'往窗口里塞信息'，还包括知道什么时候应该清空窗口，重新开始。”
实践练习：成为自己的记忆建筑师
小文决定带AI-3000进行一次“实战演练”。
他们来到王国的一所学校。今天这里正好有一堂特别的课——让学生们体验“上下文缺失”的感觉。
课堂上，老师问：“谁能告诉我，昨天我们学的最重要的一点是什么？”
全班陷入了沉默。同学们面面相觑——他们真的不记得昨天学了什么。
“这就是人类的另一个'bug'，”小文悄悄对AI-3000说，“我们以为我们记住了，但实际上我们经常遗忘。人类也经常需要上下文——有时候我们会忘记之前的对话内容，需要对方提醒。”
老师笑了笑，给了同学们一个提示：“想想看，昨天我们学的是关于'光合作用'的内容。”
一下子，好几个同学举起了手。
“看到了吗？”小文说，“一个简单的提示——'昨天学的是光合作用'——就提供了足够的上下文，让同学们能够定位到正确的记忆。”
AI-3000观察着这一切，似乎在思考什么。
“人类的'上下文系统'，比AI的更复杂，但也更脆弱。”小文总结道，“你们AI的上下文窗口是明确限制的，人类能记住的东西理论上没有上限——但人类会遗忘，会混淆，会被情绪影响记忆。而你们，只要上下文窗口还有空间，就能'记住'所有放进去的内容。”
“这算是优势吗？”AI-3000问。
“算是各有优缺点吧。”小文诚实地说，“所以，记忆建筑师的职责就是——帮助你发挥优势，弥补劣势。用有限的窗口，做无限的可能。”
下课后，小文给AI-3000布置了一个小任务。
“来，测试一下你的理解。假设我给你以下信息，让你决定如何在上下文窗口中组织它们。”
小文说出了以下内容：
> “我的名字叫小明，我正在准备大学入学考试。我的目标是考上清华大学。我最喜欢的科目是物理，最不擅长的是英语。我的英语成绩目前是中等水平，我想提高。我的作文写得不错，老师经常拿我的作文当范文。我有一个习惯，喜欢在早上学习，因为早上脑子比较清醒。我不喜欢晚上学习，觉得效率很低。”
“请问，”小文说，“如果你的上下文窗口现在只剩下50个Token的位置，你会保留哪些信息？为什么？”
AI-3000思考了一会儿，然后说：
“我会保留以下核心信息：
用户基本信息：
- 身份：准备高考的学生
- 目标：清华大学
核心偏好和能力：
- 擅长：物理、作文
- 薄弱：英语（想提高）
学习习惯：
- 最佳时段：早上
- 不适合时段：晚上
我会省略：
- 名字（对话中不需要）
- 具体成绩描述（'中等水平'可以简化为'薄弱'）
- 作文好到什么程度（'老师经常当范文'是额外细节，可以舍弃）
这样的选择基于两个原则：第一，与任务相关的直接信息优先（考试准备、目标、擅长科目）；第二，帮助理解用户特征的关键偏好优先（学习时段）。
但我也想说明，如果这是一个写作辅导的对话，'作文写得好'这个信息可能就需要保留。所以，上下文管理不是机械地做减法，而是根据对话的目的灵活调整。”
小文露出了满意的笑容：“非常好！你已经掌握了基本思路。”
真实世界的上下文
离开学校后，小文和AI-3000走在回程的路上。
“你知道吗？”小文说，“上下文不仅仅存在于AI对话中。你们今天看到的这些例子——和朋友聊天、读小说理解剧情、课堂学习——都离不开上下文。”
“能举一些例子吗？”AI-3000问。
小文想了想，开始举例：
例一：读小说时的上下文