Prompt Engineering基础：原理、范式与核心概念

Prompt Engineering（提示工程）是大语言模型时代的一项核心技能，它通过精心设计输入文本（即“提示”）来引导模型产生准确、可靠且符合预期的输出。与传统的软件编程不同，提示工程是一种“软性”的编程范式，其中人类用自然语言向模型传达任务意图、约束条件和输出格式。随着GPT、Claude、Llama等大模型在各类任务中展现出惊人能力，如何有效“驾驭”这些模型已成为开发者、研究人员乃至普通用户面临的关键挑战。本章将系统阐述提示工程的基本原理、核心概念与设计范式，为后续高级技巧奠定坚实基础。

核心概念深度解析

Token：模型眼中的世界

大语言模型并不直接处理字符或单词，而是将文本分解为称为Token（令牌）的基本单位。Token是模型词汇表中的基本元素，通过分词器（Tokenizer）将原始文本转换为模型可处理的数字ID序列。理解Token机制是设计高效提示的基石，因为它直接影响上下文长度计算、成本控制和输出质量。

现代大模型普遍采用子词分词（Subword Tokenization）技术，在单词级和字符级之间取得平衡。最主流的算法包括Byte-Pair Encoding（BPE）、WordPiece和SentencePiece。以GPT系列使用的BPE为例，它通过迭代合并最频繁的字符对来构建词汇表。例如，字符串"ChatGPT"可能被拆分为["Chat", "G", "PT"]三个Token，而"人工智能"在中文模型中通常每个汉字对应一个Token，但复杂术语如"提示工程"可能被分为["提示", "工程"]。

不同模型家族的Tokenizer存在显著差异，这直接影响提示设计。GPT-4使用tiktoken分词器，英文平均1.3个Token对应一个单词，而中文几乎1:1但复杂词可能多Token。Claude使用SentencePiece，对多语言支持更均衡。Llama 2的Tokenizer基于BPE，但词汇量较小（32,768），导致非英语文本Token效率较低。下表展示了同一文本在不同模型中的Token数量差异：

| 文本 | GPT-4 (tiktoken) | Claude 3 (SentencePiece) | Llama 2 (BPE) | |------|------------------|--------------------------|---------------| | "Hello, world!" | 4 | 4 | 4 | | "提示工程" | 4 | 2 | 4 | | "Chain-of-Thought Prompting" | 5 | 5 | 6 |

Token数量直接关联API成本和上下文限制。以OpenAI API为例，输入和输出Token共同计费。一个500字的中文提示在GPT-4中可能消耗约600个Token，而在Llama 2中可能达1000个。设计提示时，我们需要在清晰度和效率间权衡：过简可能导致歧义，过细则浪费上下文空间和计算资源。

实践中，建议使用官方Tokenizer工具预检提示长度。例如，用Python的tiktoken库： ```python import tiktoken encoding = tiktoken.encoding_for_model("gpt-4") tokens = encoding.encode("你的提示文本") print(f"Token数量: {len(tokens)}") ``` 这种预检能避免因超上下文窗口导致的截断或额外费用。

上下文窗口：模型的短期记忆

上下文窗口（Context Window）指模型在一次推理中能处理的最大Token数，包括输入提示和生成输出。它定义了模型的“短期记忆”容量。早期模型如GPT-3的上下文窗口仅2048个Token，而当前旗舰模型已达数十万：GPT-4 Turbo支持128K，Claude 3支持200K，Llama 2最大32K（需特殊版本）。然而，标称值不等于实际可用值，多个因素导致有效上下文衰减。

首先，位置编码（Positional Encoding）机制在长序列中可能失效。Transformer模型通过位置嵌入让模型感知Token顺序，但传统绝对位置编码在超长文本中难以泛化。现代模型采用旋转位置嵌入（Rotary Position Embedding, RoPE）或ALiBi等相对位置编码，显著提升长文本处理能力，但注意力分布仍可能随距离衰减——模型对中间或远端Token的关注度下降，形成“ lost-in-the-middle ”现象。研究显示，在64K上下文中，模型对开头和结尾信息的召回率远高于中部。

其次，注意力计算复杂度随序列长度平方增长：$$\mathcal{O}(n^2)$$，其中$n$为序列长度。这意味着处理100K Token的显存和计算需求远超线性预期，实际部署中常通过注意力优化（如FlashAttention）或分块处理来缓解。

第三，输出长度占用上下文预算。若上下文窗口为128K，提示占100K，则模型最多生成28K Token的输出。设计提示时需预留生成空间，尤其对于长文档摘要或代码生成任务。

有效利用长上下文需特定策略：对于超长文档，直接塞入完整文本往往不如分块处理或检索增强（RAG）。实验表明，当文档超过20K Token时，模型可能忽略关键细节，建议采用“分层摘要”：先摘要各部分，再综合整体摘要。此外，长上下文提示应明确指示模型聚焦重点，例如：“以下是长篇报告，请提取前10页的核心结论并评估其论证逻辑。”

模型推理机制：从概率到文本

理解模型如何从提示生成文本，有助于控制输出特性。大模型本质上是自回归（Autoregressive）语言模型，基于条件概率分布逐Token预测：$$P(w_t | w_{1:t-1})$$，其中$w_t$是当前Token，$w_{1:t-1}$是历史序列。这一过程通过Transformer解码器实现，核心是多头注意力机制：

$$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

其中$Q$、$K$、$V$分别来自查询、键、值投影，$d_k$是键维度。注意力权重决定模型关注提示的哪些部分，进而影响下一个Token的选择。

生成过程受多个采样参数调控，这些参数常与提示协同设计：

• **温度（Temperature）**：控制输出随机性。公式中，温度$T$调整softmax输入：$$P(w) = \frac{\exp(e_w / T)}{\sum_{w'} \exp(e_{w'} / T)}$$ 低温（如0.2）使高概率Token主导，输出确定性；高温（如1.0）均衡分布，增加创意但可能偏离事实。
• **Top-p（核采样）**：选择累积概率超过$p$的最小Token集，过滤低概率尾部。例如top-p=0.9表示仅考虑概率最高的Token集合，其总和达90%。
• **Top-k**：限制每一步仅考虑前$k$个最可能Token。
• **重复惩罚**：降低已出现Token的概率，避免循环。

这些参数可在API调用中设置，但提示本身也能间接影响。例如，提示中要求“严格基于事实”可降低高温下的幻觉；要求“创造性发散”则鼓励高温采样。实践中，对于事实问答，推荐温度≤0.3；对于创意写作，可设0.7-1.0。

模型推理还涉及停止条件（如遇到特定序列）、最大生成长度等。设计提示时需考虑这些机制：若希望模型输出结构化数据，可指定结束符；若需长响应，应预留足够生成长度预算。

提示设计三大核心范式

指令遵循：让模型听明白

指令遵循（Instruction Following）是提示工程最基础的范式，源于模型在指令微调（Instruction Tuning）阶段的学习能力。模型经过大量“指令-响应”对训练后，能识别并执行自然语言指令。但指令质量直接决定输出质量——模糊指令导致随机响应，精确指令则引导模型聚焦。

有效指令遵循需遵循以下原则： 1. 明确性：避免歧义词汇。差例：“写点关于AI的内容”；优例：“以学术综述风格，用500字概述2020年后大语言模型在医疗诊断中的应用进展，重点提及三项突破性研究。” 2. 具体性：指定格式、长度、风格。例如：“输出为JSON，包含键‘summary’和‘key_points’。” 3. 有界性：设定约束条件。如“仅基于提供资料回答”“避免主观评价”。 4. 角色赋予：设定专家身份提升专业性。如“你是一位资深数据科学家，请分析以下数据集并给出建模建议。”

指令遵循的局限性在于模型可能过度字面理解。例如，指令“不要提及政治”可能反而触发模型关注政治内容（逆火效应）。因此，需结合正面引导：“聚焦科技和经济层面。”

上下文学习：从示例中泛化

上下文学习（In-Context Learning, ICL）指在提示中提供任务示例（few-shot），模型据此推断模式并应用于新输入。这与传统机器学习“训练-推断”分离不同，模型无需参数更新即可从示例中学习。ICL的发现颠覆了“大模型仅记忆训练数据”的认知，证明其具备动态适应能力。

Few-shot提示的典型结构： ``` 任务描述 示例1：输入 → 输出 示例2：输入 → 输出 ... 新输入：？ ``` 例如情感分类： ``` 判断以下评论的情感倾向（正面/负面）： 评论：“电池续航惊人，一天都不用充电。” → 正面 评论：“屏幕残影严重，影响观看。” → 负面 评论：“相机拍照清晰，但系统经常卡顿。” → ``` 模型会基于模式输出“混合”或类似判断。

ICL的关键发现包括：

• **示例数量**：性能随示例数增加而提升，但边际收益递减，通常3-5个示例最佳。过多示例可能挤占上下文，或导致模型过拟合示例表面特征。
• **排列敏感性**：示例顺序影响结果。研究显示，将正确示例放在前、错误示例放在后，模型更可能学习到正确模式。建议按难度递增排列。
• **标签空间**：示例中应包含所有可能标签，否则模型可能忽略未出现的类别。
• **任务识别**：模型需先识别任务类型。若示例与任务不匹配（如用英文示例做中文分类），性能骤降。

ICL的失败模式包括：模型复制示例格式而非学习逻辑（格式抄袭），或对无关特征敏感（如基于评论长度判断情感）。因此，示例需精心设计，覆盖边缘情况。

思维链：激发模型推理能力

思维链（Chain-of-Thought, CoT）提示是2022年Wei等人提出的革命性范式，要求模型在输出前展示逐步推理过程。其核心洞察是：许多复杂任务（如数学推理）在标准提示下模型直接给出答案，但若强制分步思考，准确率大幅提升。CoT将单一预测转化为多步推理，更匹配模型预训练数据中的逻辑链条结构。

标准CoT提示在指令后添加“Let's think step by step.”或类似短语。例如： ``` 问题：小明有5个苹果，吃了2个，又买了3个，现在有几个？ 逐步推理： ``` 模型可能输出： ``` 初始有5个苹果。 吃掉2个，剩余5-2=3个。 又买3个，总数为3+3=6个。 答案：6个。 ```

CoT在GSM8K数学数据集上将GPT-3的准确率从17.7%提升至74.4%，在SVAMP等推理基准上类似提升。其成功原因有三： 1.

其成功原因有三：第一，过程监督的模拟——模型在预训练阶段接触过海量包含推理过程的文本（如教科书、解题步骤），CoT提示有效激活了这种“过程记忆”，使模型模仿逐步推导的模式；第二，复杂性分解——人类解决多步问题时习惯拆解子任务，CoT将单一预测任务转化为序列决策，每步仅需局部推理，降低了模型认知负荷；第三，错误校正机会——中间步骤为模型提供了自我检查和修正的节点，例如在数学计算中，若前步错误，后续步骤可能自我矛盾，模型可通过后续推理部分纠正。然而，CoT并非万能：对于简单事实查询（如“法国首都是哪里？”），强制分步反而增加错误率；对于需要直觉或创意的任务，分步可能破坏流畅性。因此，需根据任务类型选择是否启用CoT。

思维链的进阶形式

基于基础CoT，研究者提出了多种增强变体，以解决其局限性并扩展应用场景。

Zero-Shot CoT：在指令中仅添加“Let's think step by step.”即可触发模型自主生成推理链，无需提供示例。这种方法在GPT-3和PaLM等模型上显著提升数学推理能力，证明模型已内化分步思考模式。例如： ``` 问题：如果3台机器8分钟生产240个零件，1台机器同样效率下生产200个零件需要几分钟？ 逐步推理： ``` 模型可能输出： ``` 先求单台机器效率：3台8分钟产240件 → 单台8分钟产80件 → 单台每分钟产10件。 生产200件需要时间：200 ÷ 10 = 20分钟。 答案：20分钟。 ``` Zero-Shot CoT的优点是无需设计示例，但触发短语可能不稳健——不同模型或版本对短语敏感，需实验确定最佳触发词（如“一步步思考”“逐步分析”）。

Self-Consistency：由Wang等人提出，通过采样多个独立CoT路径，然后投票选择最一致答案。例如，对同一数学题生成5条不同推理链，若3条得出答案“20分钟”，则采纳该答案。这利用模型输出的随机性（通过调整温度）探索多种推理路径，显著提升复杂推理的鲁棒性。实验显示，在GSM8K上，Self-Consistency将CoT的准确率从74.4%提升至84.1%。

Tree of Thoughts (ToT)：将分步思考扩展为树状探索，允许模型在关键决策点生成多个候选分支，并通过启发式评估选择最优路径。适用于规划、谜题等需要回溯的任务。例如，在玩文字游戏时，模型可能生成多个可能词序列，评估哪个最符合规则。ToT提示需明确指示“考虑多种可能性”并可能要求输出候选列表。

Self-Refinement：模型先输出初步答案，然后被指示“ review your answer and improve it”。这模拟人类迭代优化过程，对代码调试、文本编辑等任务有效。例如： ``` 编写Python函数计算斐波那契数列。 初步代码： def fib(n): if n <= 1: return n return fib(n-1) + fib(n-2) 审查并改进：上述代码未处理负数输入，且递归效率低。改进版本应添加输入验证并使用迭代法。 改进代码： ``` 模型可能输出迭代版本并添加文档字符串。

这些进阶范式往往需要更复杂的提示结构和更高的Token预算，实践中需权衡收益与成本。

不同模型家族的提示特性对比

大模型家族众多，其训练数据、架构细节和微调目标的差异导致对提示的响应特性显著不同。理解这些差异是设计跨平台提示的关键。

GPT系列（OpenAI）

GPT（Generative Pre-trained Transformer）系列是提示工程的基准参照。其特点包括：

• **指令遵循能力强**：通过InstructGPT和RLHF（从人类反馈中强化学习）训练，GPT模型高度适应自然语言指令，能理解隐含意图。
• **创意与事实的平衡**：GPT-4在创意写作和事实问答间取得较好平衡，但仍有幻觉问题。高温采样（>0.8）下创意迸发，但事实性下降。
• **格式灵活性**：能自然输出Markdown、JSON、表格等结构化数据，但需明确指示。例如，要求“输出JSON”时，模型常自动添加代码块标记。
• **上下文管理**：GPT-4 Turbo支持128K上下文，但对中间信息敏感——在长文档中，关键细节可能被忽略。建议关键信息置于提示开头或结尾。
• **多语言支持**：英文最优，中文次之，但中文Token效率较低（平均1.5汉字/Token）。多语言混合提示时，英文指令往往更可靠。

示例对比：同一提示在GPT-4与GPT-3.5上的差异： ``` 提示：用莎士比亚风格写一句关于人工智能的十四行诗。 GPT-3.5输出：O gentle AI, thou art a marvel bright, / That doth compute with speed and reasoned light... GPT-4输出：O, artificial mind, with circuits wrought, / In silicon dreams, thou dost new thoughts create... ``` GPT-4更符合“十四行诗”的格律要求（14行，抑扬格），而GPT-3.5仅输出两句。

Claude系列（Anthropic）

Claude以Constitutional AI（宪法AI）训练，强调安全、有益和尊重用户自主性，提示特性鲜明：

• **约束遵循严格**：对负面指令（如“不要生成有害内容”）响应积极，但可能过度保守，拒绝合理请求。正面指令（“请聚焦技术细节”）更有效。
• **长文档处理优势**：Claude 3支持200K上下文，且设计时优化了长文本注意力，在总结、分析长文档时表现稳定，中间信息丢失较少。
• **自然对话风格**：输出更接近人类写作，语气温和，适合客服、内容创作。但创意性可能低于GPT-4。
• **多语言均衡**：在非英语任务上表现更均衡，中文处理能力较强，Token效率优于GPT系列。
• **结构化输出**：能输出JSON、XML，但需明确schema定义。对格式错误较敏感，若示例格式不一致，可能混淆。

示例：长文档分析提示： ``` 以下是某公司年报节选（共50页）。请提取以下信息：1) 全年营收及增长率；2) 三大业务线利润占比；3) 主要风险因素。以表格形式输出。 ``` Claude 3能较好处理50页文档，而GPT-4可能忽略中间页的关键数据。

Llama系列（Meta）

Llama是开源模型代表，提示工程需更精细：

• **指令敏感性低**：基础版Llama 2未经过强指令微调，需更明确、结构化的提示。例如，直接问“总结下文”可能无效，需改为“你是一个摘要助手。任务：用一段话总结以下文本。”
• **依赖示例**：Few-shot提示对Llama效果显著，尤其当任务与预训练数据分布不同时。提供2-3个高质量示例可大幅提升性能。
• **创意与事实的权衡**：Llama 2 Chat版本经指令微调，但创意性一般，事实性较强（训练数据更干净）。高温下可能输出混乱。
• **多语言短板**：主要英文训练，中文能力弱，Token效率低（一个汉字常占多个Token）。处理中文需额外提示如“用中文回答”。
• **上下文限制**：Llama 2标准版仅4K上下文，长文本需特殊版本（如Llama 2 Long）或外部RAG。

示例：中文任务提示对比： ``` 提示：解