健忘的机器人：什么是AI的'上下文'？ / The Forgetful Robot: What is AI's 'Context'?
健忘的机器人：什么是AI的"上下文"？
清晨七点，闹钟响了三遍，小萌才迷迷糊糊地从床上爬起来。她揉了揉眼睛，顺手打开了桌上的智能音箱："Echo，早上好——我今天早餐吃的什么？"
音箱里传来Echo温柔的声音："早上好，小萌！今天又是充满活力的一天呢！"
"喂喂喂，我问你——"小萌有点着急，"我早餐吃的什么？"
"抱歉，"Echo说，"我没有关于你早餐的信息。要不要我帮你查一下附近的早餐店？"
小萌愣住了。她明明十分钟前才跟Echo说过，她今天早上吃的是妈妈做的鸡蛋煎饼，配上一杯温热的牛奶。Echo怎么会忘记呢？
这就是我们要解决的第一个谜团：AI为什么会"忘记"刚刚说过的话？ 这些"健忘"的机器人，它们的大脑里到底装了什么？
一、健忘不是 bug，是 feature：小萌的第一个发现
小萌的妈妈是位计算机老师，听完小萌的抱怨后，没有急着安慰她，而是拿出一支笔，在白板上画了一个大方框。
"萌萌，你知道电脑的内存条长什么样吗？"妈妈问。
"知道，就是那种长长的、绿色的小板子。"
"对。AI的'大脑'也是这样，"妈妈说，"它有一个固定大小的'工作台面'，我们叫它 Context Window（上下文窗口）。这个台面有多大，它一次性能看多少字，就完全被卡死了。"
"可是……Echo明明刚才还记得啊！"
"因为刚才你们聊天的内容，还摆在这个'台面'上，"妈妈解释道，"但当你问它早餐吃什么的时候——"
妈妈在白板上画了一个新的方框，把刚才画的那个推到一边，又画了一个新的。
"每次你和Echo开一个新对话，它的工作台面就被'清空'了，从零开始堆东西。所以它不是'忘了'，而是'从来没看见过'。"
小萌瞪大了眼睛："那岂不是……Echo每次和我说话，都像第一次认识我一样？"
"没错，"妈妈点点头，"这正是为什么聪明的AI产品，会让你把'长期重要的信息'写在 System Prompt（系统提示） 里，这样每次新对话一开始，那些信息就已经摆在台面上了。"
关键洞察 #1：AI的"健忘"不是因为它笨，而是因为它的 工作台面（Context Window） 是一个有限大小的物理空间，超出台面的内容，它真的"看不见"。
1.1 一个简单的类比：厨房里的料理台
如果上面的解释还是有点抽象，让我们用一个更生活化的比喻来理解。
想象你是一个小厨师，正在做一道菜。你面前有一张料理台，台面就是那么大：
- **台面上的东西**：你能看到、能用的食材和工具
- **台面下的东西**：存在冰箱里、橱柜里的东西——你必须先拿出来放到台面上，才能用
- **台面的大小**：决定了你能同时处理多少道菜
AI的 Context Window 就是这张"料理台"：
```mermaid flowchart TB subgraph ContextWindow["Context Window - AI的料理台"] A[System Prompt: 你是Echo, 一个温柔的AI助手] --> B[User: 早上好] B --> C[Assistant: 早上好小萌] C --> D[User: 我早餐吃的什么] end
E[之前对话: 早餐吃的是煎饼 - 已经被挤出] -.-> ContextWindow
style ContextWindow fill:#fff4e1 ```
在这个图里：
- **A** 是 **System Prompt（系统提示）**——它就像贴在料理台边上的一张便签纸，告诉AI"你是谁、你该怎么说话"。
- **B** 是你刚才说的 **User Message（用户消息）**——"早上好"。
- **C** 是AI回复的 **Assistant Message（助手消息）**——"早上好小萌"。
- **D** 是你新问的 **User Message**——"我早餐吃的什么"。
而 E，那个写着"早餐吃的是煎饼"的老消息，已经被挤出台面了。AI看不到了，所以它"忘了"。
> 📌 小贴士（Tip）：你可以把 Context Window 想象成 AI 眼前的一块透明玻璃板。玻璃板有多大，它就能看到多少字。玻璃板外的字，对它来说就是"不存在"。
二、把字拆成乐高积木：什么是 Token？
小萌听完妈妈的解释，若有所思："那 Echo 一次能看多少字呢？"
"这就要说到一个非常非常重要的概念了，"妈妈放下笔，"它叫做 Token（词元）。"
"词元？什么是词元？"
"你可以把它理解成 AI 阅读文字的最小单位。就像乐高积木——一整篇文章，是由一块块小乐高拼起来的。"
妈妈在白板上写下几行字：
``` 原文：今天天气真好 切词：[今天] [天气] [真好] ← 3 个 Token ```
"你看，'今天天气真好'这 5 个汉字，被AI拆成了 3 个 Token。"
"为什么不是 1 个 Token 算一句呢？"
"因为对AI来说，'今天'和'天气'是两个有意义的词，而'真'和'好'经常一起出现，所以它们被组合成了一个 Token。"
2.1 Token 不是字，也不是词
这是很多小朋友（甚至大人！）都会搞混的一点。让我把它说清楚：
| 单位 | 例子 | 数量 | |---|---|---| | 汉字 (Character) | 今天天气真好 | 5 个 | | 词语 (Word) | 今天 / 天气 / 真好 | 3 个 | | Token (词元) | [今天] [天气] [真好] | 3 个 |
对于中文来说，1 个汉字 ≈ 0.6 个 Token（也就是说，1000 个汉字大约是 600 个 Token）。 对于英文来说，1 个英文单词 ≈ 1.3 个 Token。
小练习 ✏️：请小朋友猜一猜，下面这句话会被切成几个 Token？
> "我喜欢吃苹果和香蕉。"
答案可能是这样的：
``` [我] [喜欢] [吃] [苹果] [和] [香蕉] [。] ← 7 个 Token ```
具体的切分方式，会因为不同的 AI 模型而略有差异。但核心思想是一样的：Token 就是 AI 切分和理解文字的"乐高积木"。
> ⚠️ 重要警告（Warning）：Token 的数量直接决定了 费用 和 速度。在大多数商用 API（比如 OpenAI 的 GPT-4、Anthropic 的 Claude）中，每 1000 个 Token 通常要收取一定费用。所以，理解 Token 的概念，能帮你省下一大笔"小猪存钱罐"里的零花钱！
2.2 为什么 AI 用 Token 而不用字？
你可能会问：为什么不直接一个字一个字地给 AI 看？这样不是更简单吗？
这里有三条关键原因：
第一，效率 🚀：用 Token 处理，AI 一次能"消化"更多有意义的内容。比如"中华人民共和国"这 7 个字，如果按字来算就是 7 个单位，但 AI 用 Token 看，可能只需要 2-3 个单位。
第二，跨语言 🌍：英文单词长短不一（"a" 1 个字母，"incomprehensible" 16 个字母），如果按字母来算会非常浪费。Token 是一种"语言无关"的中间单位，让中英文都能高效处理。
第三，统计规律 📊：AI 是通过统计大量的文本"学"出来的，而 Token 这种"中等颗粒度"的单位，能让 AI 更好地捕捉语言中的统计规律。
三、三大积木块：Prompt、Response 与 Context
现在我们已经知道了 Token 是什么，接下来让我们认识一下组成一次 AI 对话的 三大积木块：
```mermaid flowchart LR A[Prompt 提示] --> C[Context 上下文] B[Response 回复] --> C
style A fill:#e1f5ff style B fill:#ffe1f5 style C fill:#fff4e1 ```
3.1 Prompt（提示）——你递给 AI 的问题
Prompt 是你发给 AI 的"问题、指令或者信息"。它是这场对话的起点。
举个例子：
> Prompt：`"请用一句话解释什么是 Context Window。"`
这就是一个典型的 Prompt。它告诉 AI："我希望你做什么"（解释一个概念）以及"用什么方式做"（用一句话）。
Prompt 可以很短（"你好"），也可以很长（一篇 5000 字的文章）。Prompt 越清晰、越具体，AI 的回复质量就越好。
> 💡 进阶知识（Advanced）：在专业的 AI 工程中，Prompt Engineering（提示工程）已经是一个独立的研究方向。它研究的就是"如何写出更好的 Prompt，让 AI 给出更好的回复"。
3.2 Response（回复）——AI 递回给你的答案
Response 是 AI 看到你的 Prompt 后，生成的回复。
举个例子：
> Prompt：`"请用一句话解释什么是 Context Window。"` > Response：`"Context Window 是 AI 一次能看到的最大文字量，就像一个固定大小的'工作台面'，超出部分它就看不到了。"`
注意：Response 看起来像是 AI "说"的话，但实际上它是一个字一个字（或者说，一个 Token 一个 Token）"算"出来的。
> 🤖 冷知识（Fun Fact）：AI 并不是"理解"你的问题然后"组织答案"。它是在做一道概率题——"根据前面所有的 Token，下一个 Token 最有可能是什么？" 这个过程不断重复，直到形成一个完整的句子。
3.3 Context（上下文）——AI 眼前能看见的所有文字
现在到了本章最重要的概念：Context（上下文）。
Context = 这一次对话中，AI 眼前能看见的所有文字。
它包括：
- System Prompt（如果有的话）
- 所有的 User Message（你说过的所有话）
- 所有的 Assistant Message（AI 之前说过的所有话）
让我们用一个具体的例子来看：
``` --- 第 1 轮对话 --- System: 你是 Echo，一个温柔的 AI 助手。 User: 我今天早餐吃了煎饼。 Assistant: 哇，听起来很美味呢！
--- 第 2 轮对话 --- User: 我早餐吃的什么？ Assistant: 抱歉，我没有相关信息。 ```
在第 2 轮提问时，AI 眼前的 Context 是：
``` [System] 你是 Echo，一个温柔的 AI 助手。 [User] 我今天早餐吃了煎饼。 [Assistant] 哇，听起来很美味呢！ [User] 我早餐吃的什么？ ```
总 Token 数 ≈ 50 个（大约）。
但注意！这只是这一轮对话的 Context。它并不包含"上一场对话"的内容。如果你在 5 分钟前开过另一场对话，那场对话的内容已经"消失"了，AI 完全看不见。
这就是为什么小萌问 Echo "早餐吃的什么" 时，Echo 会说"我不知道"——因为在当前这场对话的 Context 里，确实没有任何关于早餐的信息。
3.4 三大积木块的关系
我们可以用一个简单的等式来表达它们的关系：
$$ \text{Context} = \text{System Prompt} + \sum_{i=1}^{n} (\text{User}_i + \text{Assistant}_i) $$
其中 $n$ 是对话的轮数。每一轮对话（User 说一句 + Assistant 回一句）都会让 Context 变大一点。
随着对话的进行，Context 就像一个 不断滚大的雪球：
```mermaid flowchart TD A[对话开始: Context = System Prompt] --> B[User 第1句] B --> C[Assistant 第1句: Context 增大] C --> D[User 第2句] D --> E[Assistant 第2句: Context 继续增大] E --> F[...持续累积...] F --> G{Context 长度是否达到上限?} G -->|否| H[继续对话] G -->|是| I[触发截断 / 报错]
style A fill:#e1f5ff style C fill:#ffe1f5 style E fill:#ffe1f5 style I fill:#ffcccc ```
当 Context 累积到 Context Window 的上限时，会发生两件事中的一件：
1. 早期内容被截断：最老的消息被"挤"出窗口（OpenAI 的 API 默认行为） 2. 直接报错：超出模型最大长度，API 调用失败（早期版本的行为）
关键洞察 #2：Context 就像雪球，只会越滚越大，永远不会自己缩小。会话越长，AI 处理起来就越慢、越贵。这也是为什么优秀的 AI 应用会让用户"开新对话"来切换话题。
四、动手实验：观察 Context 的形状
小萌听完这些理论，跃跃欲试："妈妈，我想亲眼看看 Context 是什么样子的！"
"没问题，"妈妈打开笔记本电脑，"我们来写一个 Python 脚本，调用 AI 的 API，然后打印出每一轮对话的 Token 数量。"
4.1 准备工作
在开始之前，你需要：
1. Python 3.8+：编程语言（建议安装最新版本） 2. 一个 AI 服务的 API Key：比如 OpenAI、Anthropic、智谱、月之暗面等 3. 安装必要的库：在终端运行 `pip install openai tiktoken`
```python
安装必要的库（只需运行一次）
pip install openai tiktoken
```
4.2 第一个实验脚本：观察 Context 的累积
让我们编写一个脚本，模拟小萌和 Echo 的多轮对话，并打印出每一轮的 Token 数量：
```python """ 实验 1：观察 Context 的累积 作者：小萌和妈妈 日期：2024年 """
import tiktoken from openai import OpenAI
========== 初始化 ==========
加载 GPT-4 使用的 tokenizer
注意：不同模型使用不同的 tokenizer
enc = tiktoken.encoding_for_model("gpt-4")
初始化 OpenAI 客户端
请把 "sk-..." 替换成你自己的 API Key
client = OpenAI(api_key="sk-你的API密钥")
========== 模拟多轮对话 ==========
这是 Echo 的系统提示（告诉 AI 它是谁）
system_prompt = "你是 Echo，一个温柔的 AI 助手，喜欢用 emoji 说话。"
这是我们的多轮对话历史
messages_history = [ {"role": "system", "content": system_prompt}, {"role": "user", "content": "早上好！"}, {"role": "assistant", "content": "早上好呀，小萌！☀️ 今天有什么计划吗？"}, {"role": "user", "content": "我今天早餐吃了妈妈做的鸡蛋煎饼，配上一杯牛奶。"}, {"role": "assistant", "content": "哇，听起来好丰盛！煎饼配牛奶是很棒的早餐组合呢！🥞🥛"}, {"role": "user", "content": "对了，我早餐吃的什么来着？"}, ]
========== 核心：统计每一步的 Token 数 ==========
print("=" * 60) print("Context 累积观察实验") print("=" * 60)
我们用"切片"的方式，模拟对话进行到第 1 步、第 2 步...时的 Context
for step in range(1, len(messages_history) + 1):
取出从开始到当前步的所有消息
current_context = messages_history[:step]
把所有消息拼成一个长字符串，然后计算 Token
full_text = "" for msg in current_context: role = msg["role"] content = msg["content"] full_text += f"[{role}]: {content}\n"
计算 Token 数量
token_count = len(enc.encode(full_text))
打印结果
print(f"\n第 {step} 步：") print(f" Context 内容: {full_text.strip()[:80]}...") print(f" Token 数量: {token_count}") print(f" 累计百分比: {token_count / 8192 * 100:.2f}% (假设上限 8192)")
画一个简单的进度条
bar_length = 30 filled = int(bar_length * token_count / 8192) bar = "█" * filled + "░" * (bar_length - filled) print(f" 进度条: [{bar}]") ```
#