神奇的上下文：从一次对话说起
第 1 章：神奇的上下文：从一次对话说起
你有没有过这样的经历？朋友发来一条消息：“三点老地方见！”你秒懂，但如果是你的爷爷奶奶看到这条消息，可能就要追问：“什么老地方？三点是下午还是晚上？”又或者，老板周一早上在公司群里发了一句“继续”，你知道这是让大家继续上周末没完成的项目，但新来的实习生可能完全懵了——继续什么？
这种“只有特定人才能秒懂”的现象，背后的秘密就是上下文。
当省略成为可能：对话中的隐形信息
让我们把镜头对准一个真实的下午。放学后，教室里只剩下小明和小红两个人。
小明收拾好书包，头也不抬地说：“今天不去图书馆了？”
小红头也没抬，继续收拾：“嗯，改天吧。”
小明：“那回家？”
小红点点头。
小明：“那走吧。”
于是两个人背上书包，一起走出教室，各自回家。
整个对话不到一分钟，四句话，每句话平均不到四个字。但你完全能理解他们在说什么：
- “今天不去图书馆了？”——因为他们平时放学后常去学校旁边的图书馆自习。
- “改天吧”——小红今天有事，或者不想去，总之今天不是好时机。
- “那回家？”——两人住同一个小区，放学后通常一起走一段路。
- “那走吧”——两个人一起离开教室。
小明和小红像是在打暗号，每句话都藏着巨大的信息量。但奇怪的是，你一点都不觉得奇怪，因为你平时也这么说话。
我们来算一笔账。如果把这些对话“翻译”成完整版本，大概会是这样：
小明的完整想法：我注意到今天你没有像往常一样收拾好东西准备去图书馆，按照我们过去一年的习惯，我们放学后通常是先去图书馆自习一个小时再回家。所以我想问你今天是不是改变了计划，不去图书馆了？
小红的完整回应：你问得对，我今天确实不想去图书馆。（省略原因，可能是作业已经写完了，也可能是想早点回家休息，或者有别的事）
小明的下一个意思：既然不去图书馆，按照我们的惯例，我接下来会直接回家。你呢？
小红的真实意思：我也不去图书馆了，我也要回家。
小明的行动确认：那我们就一起走吧。
你看，原本四句简单的对话，背后藏着至少二十倍的信息量。但两个人谁都没觉得有什么不对，因为这些信息对他们来说是不言自明的——他们共享着同样的背景知识，这就是上下文在发挥作用。
上下文的三层结构
如果我们仔细分析这个对话，会发现上下文至少包含了三个层面：
第一层：历史上下文——你们共同经历过什么
小明和小红认识一年多了，一起上下学无数次，去图书馆的次数更是数不清。这些共同经历让很多事情变得“不用说”。就像如果你和一个朋友去过同一家餐厅很多次，下次你说“那家店”，他立刻知道是哪家。但如果是一个没去过的朋友问你，你可能得说“就是上次我们吃麻辣火锅的那家，在商场三楼，门口有个很大的熊雕塑”。
第二层：情境上下文——此时此刻正在发生什么
放学、收拾书包、教室里只剩两个人——这些当下的情境也在帮他们理解对话。如果小红突然站起来说“今天不去图书馆了”，可能是她发现了什么新情况。但如果她慢悠悠地收拾书包时这么说，那就是日常的随意聊天。说话的场景会影响我们对意思的理解。
第三层：关系上下文——你们是什么关系、处于什么角色
小明和小红是好朋友，所以他们可以随便聊。但如果小红今天心情不好，回应变成了“不用了”，小明大概会追问一句“怎么了”。如果是老师问“今天不去图书馆了？”，那小红可能会更正式地回答。这说明我们说话的方式取决于我们和对方的关系，而这种关系也是上下文的一部分。
```mermaid graph TD A[上下文] --> B[历史上下文] A --> C[情境上下文] A --> D[关系上下文] B --> B1[共同经历] B --> B2[共同知识] C --> C1[时间地点] C --> C2[正在发生的事] D --> D1[角色身份] D --> D2[关系亲疏] ```
人类的对话就像冰山，我们说出来的只是露出水面的十分之一，而水下的十分之九——那些省略的信息——全部由上下文来补全。这不是缺陷，恰恰相反，这是人类语言的伟大之处：我们不需要每次都从头解释一切，可以用最少的词语传递最精准的意思，因为双方共享着看不见的背景。
缺失的代价：当上下文消失时
上下文如此重要，但我们在日常中几乎感觉不到它的存在。只有当它缺失的时候，问题才会暴露出来。
想想你在家族群里转发新闻链接时会发生什么。你可能顺手发了一句：“这也太离谱了吧！”七大姑八大姨可能完全不知道你在说什么，因为群里的消息有几十条，大家聊的内容天南海北，你突然冒出来的感慨像是从天上掉下来的。而和你一起追同一个话题的朋友群里，可能只需要这一句话，大家就开始热烈讨论，因为上下文完全不同。
或者你回忆一下，当你刚加入一个新班级或新公司时，是不是经常听不懂别人的对话？“那个谁上周说的那件事”“按照上次的规定”“还是老规矩”——这些表述对你来说都是谜语，因为你和这个群体还没有建立共享的上下文。而三个月后，你也能用同样的方式说话了，因为你已经被“上下文包裹”了。
上下文的获取需要时间，需要共同经历，需要信息交换。这不是谁对谁错的问题，而是信息的基本规律：理解一段话需要背景，背景需要积累。
这给了我们一个重要的启示：当你觉得别人“听不懂”你的时候，不要急于责怪对方理解力差，先检查一下——你们是否拥有足够共享的上下文？
AI的困境：没有上下文，就像没有记忆的人
现在，我们把目光从人类世界转向人工智能。
假设你问一个人类这样一个问题：“明天要带伞吗？”
正常人会怎么回答？取决于很多因素：明天天气预报是不是有雨？你今天出门时天气怎么样？你一般会问谁这个问题？你们之前有没有聊过类似的天气话题？……人类会根据这些上下文来调整自己的回答。但AI模型在2023年之前，面对这个问题会怎么反应？它会老老实实地回答：“我没有明天的天气信息，建议您查看天气预报。”
这听起来很合理对不对？毕竟AI确实不知道明天的天气。
但问题是：这个回答完全没有考虑你问这个问题的场景。你可能在广州生活，三月是雨季，你之前已经问了AI“广州三月份的天气怎么样”。如果AI能记住这些对话历史，它就能推断出：你在广州，三月多雨，你可能在考虑明天出门要不要带伞。它的回答可能就变成了：“根据广州三月的气候，明天很可能是阴天或有小雨，建议带把伞以防万一。”
你看，缺失上下文让AI的回答变得“正确但无用”。它说的没错，但它没有理解你真正想问的是什么。
这就是为什么上下文对AI如此重要。
AI眼中的上下文是什么
对人类来说，上下文是自动感知的——我们生活在世界中，听到一句话，自然而然会调动相关的背景知识。但对AI来说，上下文需要被明确提供。
让我们把AI想象成一个非常聪明但非常“健忘”的助手。他有强大的推理能力，但他不像你我一样能自动记住所有事情。你需要告诉他：
- **你们之前聊过什么**：对话历史。就像告诉一个失忆的朋友你们的关系、你之前说过的话。
- **当前在做什么任务**：任务目标。你希望他帮你写文章、翻译内容、还是单纯聊天？不同任务需要不同的回答方式。
- **你有什么特点或偏好**：用户画像。你喜欢简洁的回答还是详细的解释？你的母语是什么？这些信息影响他的表达方式。
- **当前处于什么环境**：环境信息。这虽然在纯文字对话中很少涉及，但在一些应用场景（比如智能家居、具身AI）中会变得很重要。
当这些信息都具备时，AI就像获得了一本专属的说明书，能给出真正贴合你需求的回答。当这些信息缺失时，AI就像在黑暗中摸索，只能给出泛泛的、缺乏针对性的回应。
一次实验：单个问题 vs 连续对话
说了这么多，最好的理解方式还是亲自体验。让我们来做一个小实验。
实验准备：
1. 打开两个新的AI对话窗口（这里以ChatGPT为例，其他AI助手也可以） 2. 在第一个窗口（我们称之为“窗口A”）中，直接发送以下问题：
> “今天吃什么比较好？”
3. 在第二个窗口（我们称之为“窗口B”）中，先发送几条背景信息，然后发送同样的问题。具体操作如下：
> 第一条消息：“我最近在减肥” > > 第二条消息：“但今天是我朋友的生日，我们要一起吃饭” > > 第三条消息：“今天吃什么比较好？”
观察记录表：
| 维度 | 窗口A（无上下文） | 窗口B（有上下文） | |------|------------------|-------------------| | 回答长度 | | | | 是否考虑了减肥需求 | | | | 是否提到了聚会场景 | | | | 回答的实用性 | | | | 整体满意度 | | |
当你完成这个实验后，你会明显感受到差异。窗口A的回答可能是：“建议根据个人口味和营养均衡来选择，可以考虑蔬菜沙拉、清蒸鱼、鸡汤等……”——这是正确的废话，放之四海而皆准。
窗口B的回答则会贴心得多：“既然是朋友生日聚会，不用太严格限制饮食，可以选择大家喜欢的餐厅，点一些适合分享的菜品。不过蛋糕不要吃太多，主菜可以选择烤鸡或者清蒸鱼，饮料可以选无糖的……”——它理解了你的纠结：既想减肥，又不想扫朋友的兴。
这就是上下文的力量。同一个问题，不同的上下文，AI给出的答案完全不在一个层次。
重新理解“理解”：从信息到意义
到这里，我们可能需要重新思考一个基本问题：什么是真正的理解？
小时候做语文阅读理解题，你有没有过这样的经历：标准答案写的“这句话表达了作者对家乡的思念之情”，但你完全不同意，你觉得作者只是在描写一棵树。后来老师告诉你，要联系上下文——作者是在流亡途中写下这篇文章的，他刚刚失去了家人。哦，这样再读一遍，确实不一样了。
同样的句子，在不同的上下文中，意思完全不同。这不是语言的问题，而是理解的问题。理解不是孤立地分析一段文字，而是把这段文字放回它原本的语境中，激活所有相关的背景知识，然后感受它要传递的意义。
对人类来说，这是自动完成的，我们甚至意识不到自己在做这件事。对AI来说，这个过程需要被显式地实现——这就是为什么我们需要“上下文工程”，需要精心设计提示词，需要告诉AI它现在是什么角色、面对的是什么情况、用户有什么特点。
这不是AI的缺陷，而是AI和人类在“理解”机制上的根本差异。人类理解靠的是几十年的生活积累、情感体验、社交经验；AI理解靠的是被提供的上下文和它训练时学到的语言模式。两者路径不同，但目标一致——让符号变成意义，让信息变成理解。
本章小结
在这一章里，我们从一次看似平常的对话开始，揭开了“上下文”的神秘面纱。
首先，我们发现人类对话中省略的信息远比说出来的多。小明和小红用四句话完成了放学后的一系列协调，因为他们共享着历史、情境和关系三层上下文。这不是语言的高效，恰恰是上下文的胜利。
其次，我们认识到上下文缺失会导致理解障碍。家族群里的尴尬、公司新人的困惑、AI的“正确但无用”回答——这些问题都有一个共同原因：双方没有足够的共享上下文。
第三，我们理解了为什么上下文对AI尤为关键。AI不像人类那样能自动感知背景，它需要被告知、提醒、喂给信息。一个经过精心设计的上下文，可以让AI从“机械的回答者”变成“懂你的助手”。
最后，我们通过一个简单的实验，亲眼见证了上下文的力量——同一个问题，有上下文和没上下文的回答，质量差距可能是天壤之别。
但这只是开始。上下文的世界远比我们本章探索的更加深邃和精彩。
你有没有想过：为什么AI有时候会“忘记”你们之前的对话？上下文的长度有没有限制？AI是怎么存储和管理上下文的？ 这些问题，将带我们进入接下来的旅程。
下一章，我们将深入AI的内部，看看上下文在技术层面是如何运作的。你将了解到“上下文窗口”是什么、它有什么物理限制、AI是如何在这个窗口里“看到”对话历史的。准备好了吗？让我们继续探索这个神奇的上下文世界。
第 1 章：神奇的上下文：从一次对话说起（续）
当AI“忘记”时：上下文窗口的秘密
现在你可能会问：既然上下文这么重要，AI是怎么存储和管理它的？
让我们先做一个测试。打开ChatGPT（或任何你常用的AI对话工具），进行一段长对话。聊到第50轮左右时，随意提起你最开始说的话，比如：“还记得我一开始问你的那个问题吗？”或者“我之前告诉过你我在深圳工作，你还记得吗？”
有趣的事情发生了：AI要么完全忘记，要么记得但细节模糊。它可能会说“抱歉，作为AI我没有持续的记忆能力”，或者把别人的信息张冠李戴到你头上。
这背后涉及一个关键概念：上下文窗口（Context Window）。
你可以把上下文窗口想象成AI的“工作台”。当AI处理你的对话时，它会把整个对话历史（包括你之前说的话、它之前说的话、你提供的背景信息等）全部铺在这个工作台上。然后它从这个工作台上读取信息，理解你的新问题，生成回答。
但这个工作台是有大小限制的。就像你的书桌再大也只能铺下有限的文件，AI的上下文窗口再大也只能容纳有限的信息。当对话越来越长，工作台上的文件越堆越多，AI就不得不把一些“旧文件”挪开，以便放得下新的内容。这就是为什么AI会“忘记”早期的对话内容——不是它真的忘了，而是它的工作台已经放不下了。
数字背后的真相
让我们用更具体的方式理解这个限制。
GPT-3.5的上下文窗口大约是4096个tokens（Token是AI处理文本的基本单位，大约相当于0.75个英文单词，或者一两个中文字符）。GPT-4根据版本不同，从8K到128K不等——128K tokens大约相当于10万汉字，也就是一本中篇小说的长度。
这听起来很大对不对？但让我们做一个换算：
- 一轮完整的对话（你问一句，它答一句）大约消耗100-500个tokens，取决于回答的长度和复杂度
- 加上一些背景信息（你告诉AI你的职业、偏好、使用场景等），可能额外消耗200-1000个tokens
- 假设平均每轮消耗300个tokens，那么4096个tokens大约能容纳13-14轮完整的对话
这就是为什么你可能会觉得：聊着聊着AI就开始“失忆”了。不是它不想记住，是上下文窗口真的快装不下了。
```mermaid graph LR A[对话历史] --> B{上下文窗口} B -->|还能容纳| C[AI能"记住"] B -->|已满/溢出| D[早期内容被"挤出"] C --> E[回答连贯准确] D --> F[开始出现遗忘/混淆]
style B fill:#f9d71c,stroke:#333,stroke-width:2px style C fill:#90EE90,stroke:#333 style D fill:#FFB6C1,stroke:#333 style F fill:#FFB6C1,stroke:#333 ```
聪明的妥协：位置编码与稀疏注意力
你可能会想：AI的开发者们为什么不把上下文窗口做得更大呢？技术上确实有限制。
早期的Transformer模型使用一种叫做位置编码（Positional Encoding）的技术，它给输入文本中的每个token分配一个位置编号。当上下文太长时，这些位置编号会变得非常大，模型很难准确地处理它们之间的远距离关系。就像你在纸上画坐标系时，数字太大了就容易看错位。
后来的模型引入了旋转位置编码（RoPE）、ALiBi位置编码等技术，让模型能更好地处理长序列。但即使如此，当token之间距离过远时，模型“注意”到它们的能力也会下降。这就像你桌上堆满了文件，最近的放在最上面，你容易看到；最早的文件被压在最底层，你很难注意到它们。
更现代的模型采用了稀疏注意力（Sparse Attention）机制——不是让AI关注所有的上下文，而是让它学会只关注真正重要的部分。就像你阅读一份长报告时，不是逐字逐句读，而是跳着读，只关注关键段落和关键信息。这种机制让AI在长上下文中也能保持较好的表现。
理解这些技术细节不是为了让你成为AI工程师，而是为了让你明白一件事：上下文窗口是一个有限的资源，你需要聪明地使用它。
实验后续：当我们给AI“喂”上下文
让我们回到之前提到的那个实验。我强烈建议你真的动手做一次，因为亲眼见证的差异比任何文字描述都更有说服力。但为了让你在这里就能获得完整的体验，我来模拟一次完整的结果对比。
实验设置回顾：
- 窗口A：直接问“今天吃什么比较好？”
- 窗口B：先提供背景（“我最近在减肥”“今天是我朋友的生日，我们要一起吃饭”），再问同样问题
窗口A（无上下文）的可能回答：
> 今天吃什么比较好取决于很多因素，比如你的口味偏好、当地的餐厅选择、预算等。以下是一些通用的建议： > > 1. 如果想吃轻食：可以选择沙拉、寿司、越南粉等 > 2. 如果想吃正餐：可以考虑中餐、西餐、日餐等 > 3. 如果想省钱：可以考虑自己做饭或者选择快餐 > > 建议根据你的具体情况来选择。有什么特殊的饮食限制或者偏好吗？
窗口B（有上下文）的可能回答：
> 这是个有趣的两难选择——减肥期间遇到朋友生日。我的建议是： > > 不用完全放弃，但可以聪明选择： > > 1. 去餐厅时：选择蒸、烤、炖的菜品，避免油炸和红烧。可以点烤鱼、白灼虾、清炒蔬菜，主食少吃。 > 2. 关于蛋糕：这是最难的部分。蛋糕是生日的灵魂，建议你吃一小块，感受一下氛围，但不要像平时那样放开吃。一个常见的技巧是：只吃一口，把剩下的给朋友。 > 3. 饮料：避免甜饮料和酒，选择茶、柠檬水或者无糖苏打水。 > > 心态调整：一天不会毁掉你的减肥成果，重要的长期坚持。今晚好好享受朋友的陪伴，这才是生日的意义。
你看到了吗？两个回答的差距不在于对错，而在于贴心程度和实用价值。
窗口A的回答是正确的，但它像一个冷漠的百科全书，什么都说了一点，什么都没说透。窗口B的回答像个真正懂你的朋友，它知道你纠结的点在哪里（想减肥但不想扫兴），它给出了可操作的建议（蛋糕只吃一口），它甚至帮你做了心态建设。
这种差异的来源只有一个：上下文。
上下文的“性价比”
现在你可能会想：那我是不是应该给AI提供无限多的上下文信息？当然不是。上下文窗口是有限的，你需要把“好钢用在刀刃上”。
根据实践经验，以下是一些提供上下文的“高性价比”策略：
首先，提供与当前问题直接相关的信息。不要泛泛地介绍你的人生，而是告诉AI此时此刻它需要知道什么。比如你问“帮我写一封请假邮件”，你不需要告诉AI你的人生经历，你只需要告诉AI你的请假理由、大概要请几天、你公司的风格（是正式的还是随意