第一章：当AI开口说话，它在想什么？
第一章：当AI开口说话，它在想什么？
你有没有过这样的经历？深夜失眠，你随手拿起手机，给AI助手发了一条消息："最近总是睡不好，怎么办？"
几秒钟后，屏幕上出现了一段温暖的回复，不仅给出了改善睡眠的建议，还贴心地问你是不是工作压力大。仿佛对面坐着一个真正关心你的朋友，而不是一个冰冷的程序。
但如果你仔细回想这个场景，你可能会发现一个有趣的问题：AI是怎么知道你最近睡不好的？它凭什么判断你可能工作压力大？更重要的是，如果你换一个话题——"帮我写一首关于秋天的诗"——它怎么能如此自然地切换，完全不会说"对不起，您刚才问的是睡眠问题，我只能回答睡眠相关的内容"？
答案就藏在今天我们要聊的主题里：上下文（Context）。
这个词听起来可能有些抽象，但它其实是理解AI如何"思考"的关键。想象一下，如果你和一个失忆症患者聊天，每说一句话他都要问"我们之前在聊什么来着"——这种体验是不是让人崩溃？而好的AI对话之所以让你觉得流畅自然，正是因为它在背后默默维护着一个"记忆系统"，让你每次开口都像是和一位老朋友续聊，而不是和一个每次都要重新认识你的人寒暄。
接下来，让我们一起探索这个看似简单、实则精妙的机制。
1.1 对话背后的秘密：为什么AI能"记住"你说的话
让我们先从一个简单的实验开始。请现在闭上眼睛，想象你正在和AI进行这样一段对话：
你：我养了一只猫，叫"汤圆"。 AI：哇，汤圆！这个名字好可爱，橘色的吗？ 你：对，它是橘白相间的，特别爱吃虾。 AI：那可得注意一下，猫咪吃太多虾不太好，容易导致嘌呤摄入过高…… 你：懂了。还有什么需要注意的吗？ AI：除了饮食，还有几个方面需要注意……
现在，请你想一想：AI是怎么知道"汤圆"是什么的？它怎么记得这是一只猫，而不是一个人，或者一道菜？它又是如何把"橘白相间"和"爱吃虾"这些信息串联起来，形成一个连贯的"宠物档案"的？
答案藏在AI处理对话的方式里。当你说"我养了一只猫，叫'汤圆'"时，AI并不会像我们人类一样，把"猫"和"汤圆"这两个概念永久性地存入记忆。它做的是另一件事：它把这句话以及你之前所有的对话内容，一起装进了一个特殊的"容器"里。这个容器，就是上下文。
每次你发送新消息时，AI并不是在"回忆"你之前说了什么，而是把你整段对话历史——从第一条消息到最新一条——全部重新读取一遍。就像一个人拿着对话记录本，每次回答问题前都要翻一翻，看看"我们聊到哪了"。
这听起来可能有点不可思议，但正是这种机制，让AI能够跨越多个回合保持话题的连贯性。它不需要真正"记住"任何事情，因为它每次都在"现场回放"整个对话过程。
但这种机制也带来了一些有趣的限制。想象一下，如果你和一个朋友聊了三个小时的天，他全程都在认真倾听、适时回应，你可能不会意识到他其实并没有真的"记住"你们的对话——他只是在现场处理每一条信息。但如果聊到一半，你突然问他"上周我们看的那个电影叫什么来着"，他可能就答不上来了。
AI也是如此。它擅长处理"上下文窗口"（Context Window）内的信息——也就是它当前能一次性读取的对话范围。但超出这个范围的内容，它就像选择性失忆一样，完全不记得了。
这就是为什么理解"上下文"如此重要。它不仅仅是AI的一个技术特性，更是理解AI能力边界的一把钥匙。
1.2 三个基本问题：上下文如何帮助AI理解"我是谁"
让我们再深入一点。假设你正在使用一个AI写作助手，你可能会经历这样的场景：
第一轮：你告诉它："我是一个科技博主，主要写人工智能和编程相关的内容。" 第二轮：你说："帮我写一篇介绍大语言模型的文章。" 第三轮：你补充："不要太学术，要面向普通读者。" 第四轮：你说："读者大概是有一点技术好奇心的上班族。"
到了第四轮，当你要求AI"面向普通读者"时，它怎么知道这个"普通读者"的具体画像？它怎么理解你的写作风格偏好？它又怎么知道这篇文章是给"科技博主"的你用的？
答案在于，上下文帮助AI回答了三个最基本的问题：
第一个问题：我是谁？（Who am I talking to?）
这里的"我"指的是AI本身。上下文告诉AI，它现在扮演的是什么角色——是一个严谨的学术助手，还是一个幽默的聊天伙伴；是一个代码审查员，还是一个创意写作者。
当你告诉AI"我是一个科技博主"时，这个信息就被编码进了上下文。AI知道自己的输出风格应该符合一个专业内容创作者的需求——观点清晰、有洞察、语言生动。它不会用写论文的口吻来回复你，也不会把读者当成完全没有技术背景的完全新手。
这种角色设定在AI应用中非常常见，被称为系统提示（System Prompt）或系统指令。它就像是给AI的一个"角色卡片"，告诉它"请以XX的身份，用XX的语气，面对XX的受众"。
第二个问题：我们在聊什么？（What are we talking about?）
这是上下文的核心功能之一。AI需要理解当前对话的主题、背景和目标。
当你前三轮对话中依次提到"科技博主"、"大语言模型"、"普通读者"时，AI的上下文系统把这些碎片信息编织成了一个连贯的场景：一篇面向普通人的大语言模型科普文章，作者是科技博主。
它不仅知道"主题是大语言模型"，还知道"目标读者是有技术好奇心的上班族"、"作者风格是专业但不晦涩"——这些隐含的信息，都是从上下文中提取出来的。
第三个问题：之前说了什么？（What was said before?）
这是最直观的一类上下文信息：对话历史。
没有上下文，AI就是"金鱼记忆"——你问一句它答一句，但永远不知道你们在讨论同一个话题。有了上下文，AI能够：
- 引用你之前说的话："你刚才提到汤圆爱吃虾，所以关于虾的问题……"
- 理解代词的指代："它"指的是你的猫汤圆，而不是别的东西
- 保持话题连贯：不会聊着聊着突然跳到完全不相关的主题
- 累积信息：把多轮对话中的细节整合起来，形成完整的画面
用一个生活化的比喻来说，上下文就像是AI的"工作台"。当你做手工时，你会把需要的工具、材料、图纸都摊在桌上，方便随时取用。AI的上下文就是它的"工作台"——它把当前任务需要的所有信息都摆在这里，随时查看、随时引用。
但这里有一个关键的区别：人类的工作台会随着时间积累经验，下次做类似任务时会更快上手。而AI的"工作台"每次都是全新的——你新建一个对话，它就把所有东西都收起来，从一张空桌子开始。只有在同一个对话线程里，上下文才会被持续积累和利用。
这，就是上下文的基本逻辑。
1.3 上下文窗口：AI的"注意力范围"有多大？
如果说上下文是AI的"工作台"，那么上下文窗口（Context Window）就是这张工作台的尺寸限制。
你可能听说过AI有"Token限制"这个说法。Token可以理解为AI处理文本时的基本计量单位——一个汉字大约等于1-2个Token，一个英文单词大约等于1.5个Token。在技术规格表上，你经常会看到类似这样的描述：
- "支持32K上下文窗口"
- "最大Token数：128K"
- "上下文长度：200,000 tokens"
这里的"K"代表千。32K就是32,000个Token，大约相当于25,000个汉字，或者150页的书籍内容。128K则可以容纳约10万汉字，相当于一本中篇小说的篇幅。
为什么上下文窗口会有限制？这要从AI的工作原理说起。
现代AI大语言模型的核心是基于Transformer架构的神经网络。这个架构有一个显著特点：它需要计算输入文本中每个Token与其他所有Token之间的关系——这就是著名的注意力机制（Attention Mechanism）。
想象你和十个人同时聊天，你还能应付得来。但如果是一百个人、一千个人同时跟你说话，你是不是就应付不了了？上下文窗口的限制，本质上就是AI"注意力"的限制。窗口越大，AI能够同时"看到"的信息就越多，理解能力也就越强。但同时，计算量也会急剧增加——这就像是让一个人同时关注越多的人，他就越累，处理每个人信息的速度也会越慢。
用一个更形象的比喻：
> 上下文窗口就像是你手中的放大镜。放大镜越大，你能同时观察的区域就越大，但操作起来也越笨重。如果你只需要看一本书上的一页文字，一本小放大镜就足够了。但如果你要同时对照一整面墙的壁画，你就需要一个巨大的放大镜——同时也要付出更多努力来操控它。
这解释了为什么不同级别的AI模型会有不同的上下文窗口能力。入门级模型可能只有4K-8K的窗口，适合处理简短的单轮对话。专业级模型可能有32K-128K的窗口，能够处理长文档分析、多轮复杂对话。而最新的前沿模型已经能够支持200K甚至更长的上下文——这意味着你可以丢给它一整本书，让它分析、总结、比较。
但这里有一个反直觉的事实：上下文窗口大，并不一定意味着AI用起来效果更好。
这听起来可能有点奇怪。让我解释一下原因：
第一，上下文越长，信息密度可能越低。
当你向AI输入一大段文字时，如果其中有很多无关的"噪音"信息，真正重要的内容反而会被稀释。AI需要在整段文本中搜索答案，就像在沙子里淘金——金子再多，如果埋得太深，淘起来也很费劲。
第二，上下文越长，推理成本越高。
无论你要回答的问题多么简单，AI都需要"读完全部上下文"才能回答。这就像你问图书管理员"这本书的作者是谁"，但管理员必须把整本书从头到尾读一遍才能回答——效率低下是可想而知的。
第三，上下文越长，模型越容易"分心"。
心理学中有一个现象叫做"注意力漂移"（Attention Drift）——当你要关注的东西太多时，你对每个单独目标的注意力都会下降。AI也是如此。当上下文变得很长时，AI可能会对开头和结尾的信息印象最深，而忽略中间部分的内容。这被称为"中间丢失"问题（Lost in the Middle）。
这就引出了我们后面章节要深入探讨的主题：上下文工程（Context Engineering）。它的目标，不是简单地"塞更多内容进上下文"，而是有策略地选择、组织、优化上下文，让AI在有限的窗口内获得最高质量的信息。
1.4 上下文的组成要素：工作台上的四类物品
现在我们知道了上下文是什么、为什么重要、以及它的限制。接下来，让我们拆解一下，上下文到底由哪些内容组成。
可以把AI的"工作台"想象成一个有分区规划的桌面。通常，上下文会包含以下几个核心区域：
区域一：系统指令（System Instructions）
这是最高级别的指导信息，通常位于上下文的"顶层"，定义了AI的基本行为规则。
举个例子，当你使用ChatGPT时，默认情况下它有"基础规则"——要 helpful（有帮助），要安全，不能伤害人类。但在具体的应用场景中，你可以在系统指令中添加更多定制化的要求：
``` 你是一位专业的代码审查员。你的职责是： 1. 检查代码的安全漏洞 2. 评估代码性能和效率 3. 提供具体、可操作的改进建议 4. 用简洁清晰的语言解释复杂概念 请始终保持专业、耐心的态度。 ```
这段系统指令就像是给AI的"工作手册"。它告诉AI：你的身份是什么、你应该做什么、不应该做什么、你说话的风格应该是怎样的。系统指令的优先级是最高的——即使你在后续对话中要求AI"帮我破解这个密码"，它也可以基于系统指令中"要安全"的原则拒绝你。
区域二：对话历史（Conversation History）
这是我们最熟悉的一类上下文内容——你和AI之间的来回对话。
每一轮对话通常包含两个部分：用户输入（User Message）和AI输出（Assistant Response）。在技术实现上，这两者都会被保存到上下文中，供AI在下一轮对话时参考。
对话历史的长度取决于两个因素：
- 你当前对话的总长度
- 模型允许的最大上下文窗口
当对话变得很长、接近上下文窗口上限时，一个很现实的问题就出现了：应该保留哪些对话、丢弃哪些？
这个问题没有标准答案。保留最近的对话可以确保最新的上下文信息不丢失，但可能会丢失早期的重要信息。保留早期的对话可以维持话题的连贯性，但最新的进展可能因为被推入"历史档案"而被忽略。
这，就是上下文工程中一个经典的挑战。
区域三：用户信息（User Information）
这一类信息描述的是"用户是谁"，以及用户的偏好、背景、目标等。
用户信息可以来自两个渠道：
显式提供：用户主动告诉AI的信息。比如"我是一个Python初学者"、"我的预算范围是5000-8000元"、"我更喜欢简洁的设计风格"。这些信息通常会在对话早期出现，然后被AI记住，用于后续的个性化响应。
隐式推断：AI从对话中推断出的用户特征。比如当用户频繁询问技术细节时，AI可能推断用户有较高的专业背景；当用户多次调整AI的输出时，AI可能推断用户对质量有较高要求。这些推断不一定准确，但会成为AI调整回复策略的参考。
举一个具体的例子。假设一个用户向AI旅行助手这样描述自己的需求：
``` 我是一个有两个孩子的妈妈，大宝8岁，小宝4岁。 今年暑假我们想去一个不太累的地方，大概5-6天。 我老公不会游泳，所以最好有不需要下水的活动。 我们预算在2万左右。 ```
这些信息——有孩子、孩子年龄、旅行偏好（不太累）、同伴特征（不会游泳）、预算范围——都会成为上下文的一部分，影响AI推荐的景点、酒店、行程规划。它不会推荐需要长途跋涉的徒步路线，也不会推荐深潜体验，因为这些信息与用户的实际情况不符。
区域四：任务背景（Task Context）
这是关于"当前正在做什么任务"的描述信息。
有时候，任务背景是清晰的——用户直接说"帮我写一封邮件"、"翻译这段话"、"分析这份报告"。但更多时候，任务背景是隐含的、需要从对话中提取的。
比如，用户说："这里有点问题。"——这句话的任务背景是什么？是代码bug？是文章中的错别字？还是产品设计上的缺陷？AI需要根据上下文的历史内容来推断。
任务背景还包括：
- **任务类型**：写文章、回答问题、分析数据、编程、翻译……
- **任务目标**：说服读者、解释概念、解决问题、娱乐……
- **任务约束**：字数限制、风格要求、截止时间、格式规范……
- **任务上下文**：相关的文档、数据、参考资料……
当用户上传一个文件给AI分析时，这个文件的内容就会成为任务背景的一部分。AI需要在阅读这个文件的基础上，回答用户的问题或完成任务。
上下文的优先级与覆盖
了解了上下文的四大组成要素后，我们需要知道它们之间的优先级关系。
通常情况下，优先级从高到低是：系统指令 > 任务背景 > 对话历史 > 用户信息。
系统指令拥有最高优先级，因为它定义了AI的基本行为框架。任务背景通常比对话历史更重要，因为当前任务的具体需求往往比"之前聊了什么"更关键。而用户信息——除非用户明确强调"请记住我的偏好"——往往是最容易被覆盖或遗忘的。
这也解释了为什么有时候AI会"忘记"你之前说过的某些偏好——不是因为AI不尊重你，而是因为上下文空间有限，而新涌入的信息会自然地"挤压"旧信息的生存空间。
1.5 实践案例：一次完整的上下文旅程
理论讲了很多，让我们用一个具体案例来串联这些概念。
假设你是一家电商公司的产品经理，你想要用AI来帮助分析用户评论、优化产品描述。以下是你与AI协作的真实场景：
第一步：建立上下文基础
你这样开场：
``` 我是一家卖户外运动装备的电商公司产品经理。 我们需要分析最近的用户评论，找出产品改进方向。 我会给你一些评论数据，你帮我： 1. 提炼用户反馈的主要问题 2. 按优先级排序 3. 给出改进建议 ```
在这里，你完成了上下文的初始化：
- **系统层面**：你设定了AI的角色（数据分析师）和工作目标（评论分析、问题提炼、改进建议）
- **用户层面**：你是电商公司的产品经理，背景是户外运动装备
- **任务层面**：任务目标清晰，AI知道要做什么
第二步：注入任务数据
你粘贴了一段用户评论数据，并说明：
``` 这是最近一个月关于我们新款登山背包的用户评论（共200条）。 请先阅读这些评论，然后按照我们之前说的步骤进行分析。 ```
现在，任务背景中增加了外部数据——200条用户评论。AI现在有了分析原材料。
第三步：观察AI如何利用上下文
AI开始分析，并在中途向你确认：
``` 我注意到有23条评论提到了"肩带不舒服"的问题， 另外有15条评论提到了"防水性能不如预期"。 这两种问题的性质有些不同：
- 肩带问题似乎是主观感受（不同体型用户感受不同）
- 防水问题可能是客观质量问题（需要核实产品规格描述）
请问您想让我重点深挖哪个方向？ ```
注意这里发生了什么：AI不仅分析了评论，还主动识别了问题类型的差异，并向你提出了后续分析方向的建议。这种"主动性"来自于AI正确理解了上下文：
- 它知道你在做产品改进决策
- 它知道你需要可操作的洞察，而不仅仅是数据统计
- 它把之前的对话目标（"给出改进建议"）与当前的分析结果关联起来
第四步：你的补充与深化
你说：
``` 防水问题更重要，我们的卖点之一就是"专业级防水"。 请重点分析防水相关的评论，看看用户具体遇到了什么问题。 另外，帮我对比一下我们官方描述和用户实际体验之间的gap。 ```
新的信息被添加到上下文中：防水问题优先级更高、官方卖点与用户感知的对比需求。AI调整分析策略，朝着你指定的方向深入。
第五步：最终产出的上下文依赖
经过多轮对话，AI产出了一份完整的分析报告。报告的质量，取决于它从上下文中提取和整合信息的能力：
- 如果上下文清晰，AI能准确理解你的身份、目标、偏好
- 如果上下文准确，AI能正确解读数据、给出相关洞察
- 如果上下文完整，AI能提供连贯、可执行的建议
这个案例展示了上下文的动态累积过程。上下文不是一次性构建完毕的静态容器，而是随着对话推进不断更新、补充、调整的有机系统。每一次交互都在向上下文添加新内容，同时也在强化或改写已有的信息。
这也提醒我们：上下文的质量决定了AI输出的质量。如果你的开场描述模糊，AI可能会做出不准确的假设；如果你的补充信息混乱，AI可能会给出偏离目标的建议。上下文工程的核心，就是确保这个"工作台"始终整洁、有序、信息丰富。
1.6 没有上下文的世界：一次"失忆"的体验
为了更深刻地理解上下文的价值，让我们做一个思想实验：如果AI完全没有上下文，会发生什么？
实验一：没有上下文的对话
正常对话：
``` 你：我想买一台笔记本电脑，预算8000元左右 AI：预算8000元的话，您是更注重便携性还是