提示工程导论：与大模型对话的科学与艺术

第一章 提示工程导论：与大模型对话的科学与艺术

引言：从命令行到自然语言的范式转变

在计算机科学的发展历程中，人机交互的方式经历了数次革命性的变革。从最初的打孔卡片到命令行界面，从图形用户界面到触摸屏交互，每一次交互范式的转变都深刻地改变了人类使用计算机的方式，并催生了全新的技术生态和应用场景。如今，我们正在见证另一场更为深刻的变革——自然语言交互的兴起。这场变革的核心驱动力，是大型语言模型（Large Language Model，LLM）技术的突破性进展。

大型语言模型的出现，标志着计算机理解和使用人类语言的能力达到了前所未有的水平。以OpenAI的GPT系列、Google的PaLM、Anthropic的Claude为代表的语言模型，已经能够生成流畅自然、逻辑连贯的文本，完成复杂的推理任务，甚至在某些领域展现出接近甚至超越人类的表現。然而，模型本身的能力只是解决问题的一半。正如一把锋利的手术刀需要外科医生的精准操作才能发挥作用，大型语言模型也需要一套系统的“操作方法论”才能释放其全部潜力。这套方法论，就是我们本书要深入探讨的核心主题——提示工程（Prompt Engineering）。

提示工程是人工智能领域近年来兴起的一门新兴学科，它研究如何有效地与大型语言模型进行交互，通过精心设计的输入文本（提示）来引导模型产生期望的输出。从表面上看，提示工程似乎只是“写好一句话”的小事；然而，深入研究后我们会发现，提示工程涉及语言学、认知科学、计算机科学等多个学科的交叉知识，需要对模型的运行机制有深刻的理解，更需要大量的实践经验和系统的方法论指导。

本书作为《提示工程：掌握大模型交互的核心技术》的开篇之作，将为读者建立对这一领域的整体认知框架。我们将从提示工程的学科定位出发，厘清其与相关领域的关系；通过回顾大型语言模型的发展历史，揭示提示工程兴起的时代背景和技术驱动因素；进而系统地介绍提示工程的核心概念、基本要素和分类体系；最后，我们将探讨提示工程的学习路径，并介绍评估提示效果的方法论，为读者后续的深入学习奠定坚实的基础。

一、提示工程的学科定位与边界

1.1 什么是提示工程

在深入讨论提示工程的具体内容之前，我们首先需要明确一个根本性的问题：什么是提示工程？对这个问题的回答，将直接决定我们如何理解这一新兴学科的本质和边界。

从字面上理解，“提示工程”由“提示”和“工程”两个词组成。“提示”（Prompt）在大型语言模型的语境中，指的是用户向模型输入的文本内容，这段文本的作用是向模型传达任务指令、提供上下文信息、设定输出格式等。“工程”（Engineering）则强调系统性、可重复性和可优化性——提示工程不是随意的文本撰写，而是一套可以通过学习掌握、通过实践改进、通过系统方法优化的技能体系。

综合以上分析，我们可以给出提示工程的正式定义：提示工程是研究如何设计、构建和优化输入文本来引导大型语言模型产生期望输出的系统性学科。这一定义包含以下几个关键要素：

首先，提示工程的研究对象是输入文本。虽然大型语言模型也会产生输出，但我们研究的核心是如何通过输入来控制和引导输出。这与传统的自然语言处理任务不同——在传统NLP中，研究者关注的是如何训练模型使其产生好的输出；而在提示工程中，我们关注的是如何在给定模型的情况下，通过输入文本的设计来获得好的输出。

其次，提示工程的目标是系统性优化。提示工程不是“灵机一动”的技巧堆砌，而是一套需要系统学习和实践的技能体系。这套体系包括对模型行为的理解、对语言表达效果的分析、对不同任务场景的适配等多个方面。通过系统的方法论指导，从业者可以不断改进自己的提示设计能力，而不是依赖偶然的灵感。

第三，提示工程强调可重复性和可迁移性。一个好的提示不应该只在特定情境下有效，而应该能够稳定地产生期望的结果，并且在类似任务中具有可迁移性。这种可重复性和可迁移性，正是“工程”一词的题中应有之义。

1.2 提示工程与传统软件工程的关系

提示工程与传统软件工程之间存在深刻的联系，但也有本质的区别。理解这种关系，有助于我们更好地把握提示工程的独特价值和发展方向。

从联系上看，提示工程可以视为软件工程在人工智能时代的一种自然延伸。在传统软件工程中，开发者通过编写代码来指示计算机执行特定任务。代码是一种形式化的、精确的指令语言，计算机能够准确地理解和执行。而在提示工程中，我们使用自然语言而非形式化编程语言来与系统交互。尽管自然语言不如编程语言精确，但它更加灵活、表达力更强，也更符合人类的思维习惯。从这个角度看，提示工程可以被理解为“用自然语言编程”的新范式。

两者之间也存在显著的差异。传统软件工程的核心挑战在于将人类意图转化为精确的机器指令。由于计算机只能理解形式化的、确定的指令，开发者必须将模糊的需求转化为明确的代码逻辑。这一过程要求开发者具备严密的逻辑思维能力和对计算机运行机制的深刻理解。

相比之下，提示工程的核心挑战则在于用自然语言准确传达意图给一个“智能但不确定”的系统。大型语言模型具有强大的理解和生成能力，但它不是一个确定性的执行器——同样的提示可能产生不同的输出。这种不确定性源于模型的统计本质：模型生成的是在给定输入条件下概率最高的文本序列，但这个“最可能”的序列在每次生成时可能有所不同。

这种差异带来了实际工作中的不同考量。在传统软件开发中，一旦代码逻辑确定，程序的行为就是确定可预测的——相同的输入必然产生相同的输出。而在使用大型语言模型时，即使提示完全相同，模型也可能产生不同的回复。这种不确定性既是大型语言模型灵活性的来源，也给提示工程带来了独特的挑战：我们需要学会设计能够“约束”模型行为的提示，使输出在可控范围内，同时又能发挥模型的创造性。

1.3 提示工程与机器学习的关系

提示工程与机器学习的关系更为微妙。从历史发展看，提示工程的兴起与大型语言模型的成功密切相关，可以说是在机器学习技术突破的背景下诞生的。但从学科定位上看，提示工程并不等同于机器学习，两者是相互关联但性质不同的学科领域。

传统的机器学习遵循“训练-推理”两阶段范式。在训练阶段，研究者设计模型架构、准备训练数据、选择优化算法，通过大量的计算资源让模型从数据中学习模式和规律。在推理阶段，训练好的模型接收新的输入，产生预测输出。在这个范式下，模型的能力主要由训练阶段决定，推理阶段主要是应用已学到的能力。

提示工程则代表了另一种思路：在固定模型参数的情况下，通过精心设计输入来引导模型的输出。这种思路承认了一个重要事实——模型的能力不是“全有或全无”的，相同的模型可以在不同输入的引导下展现出不同的能力和行为。提示工程的目标，正是挖掘和引导这些潜藏在模型中的能力。

可以用一个比喻来理解这种关系：如果把大型语言模型比作一个知识渊博但性格多变的专家，那么传统的机器学习方法是“培训”专家，让专家学会新的知识和技能；而提示工程则是“沟通”技巧，学习如何向这位专家清晰地表达需求，如何引导他发挥出最好的水平。当然，这两种方法并不互斥——更好的训练可以让模型更容易被引导，而更好的提示技巧则可以更充分地发挥模型的能力。

从方法论上看，机器学习强调的是从数据中学习统计规律，涉及概率论、优化理论、数值计算等多个数学分支。而提示工程则更接近语言学和认知科学，强调对语言表达效果的理解、对人类认知过程的模拟。两者的研究方法也不同：机器学习研究者通常通过实验和数学分析来改进模型，而提示工程从业者则更多依赖案例分析、迭代测试和经验总结。

1.4 提示工程与人工智能伦理的交叉

在讨论提示工程的学科定位时，我们不能忽视它与人工智能伦理之间的紧密联系。作为与大型语言模型交互的主要方式，提示工程不可避免地涉及模型行为的可控性和安全性问题。

一个设计不当的提示可能导致模型产生有害、偏见或不适当的内容。更重要的是，研究者发现，通过特定的提示技术（如“提示注入”）可以绕过模型的安全限制，诱导模型产生本不应产生的内容。这些问题使得提示工程不仅仅是一个技术问题，也是一个伦理问题。

负责任的提示工程实践应该包括对潜在风险的评估和对有害使用的规避。例如，在设计提示时应该考虑模型可能产生的各种输出，避免引导模型产生歧视性、暴力性或其他有害内容。同时，提示工程研究者也有责任分享安全实践，推动行业标准的建立。

这一伦理维度提醒我们，提示工程不是纯粹的技术追求，而是需要在技术能力和社会责任之间寻求平衡的艺术。正如软件工程领域早已形成的职业伦理一样，提示工程领域也需要逐步建立自己的伦理框架和行为准则。

二、技术演进：从语言模型到提示工程的兴起

2.1 语言模型的早期发展

理解提示工程的兴起，需要回顾大型语言模型的发展历程。这段历史不仅展示了技术的进步，也为理解提示工程的本质提供了重要背景。

语言模型（Language Model）的研究可以追溯到几十年前。简单来说，语言模型的核心任务是预测给定前文的情况下，下一个词应该是什么。这一看似简单的任务，实际上需要模型具备对语言语法、语义甚至世界知识的深刻理解。

早期的语言模型主要基于统计方法。其中最具影响力的是n-gram模型，它通过统计词序列的出现频率来预测下一个词。n-gram模型简单直观，但存在严重的数据稀疏问题——随着n的增大，需要存储的词序列组合呈指数增长，而大多数组合在训练语料中几乎不会出现。为了缓解这一问题，研究者发展出了各种平滑技术，但这些技术只能在一定程度上改善效果，无法从根本上解决问题。

21世纪初，随着计算能力的提升和大规模文本数据的可用性，神经网络开始在语言模型中得到应用。2003年，Bengio等人提出了奠基性的神经语言模型，使用前馈神经网络来建模词序列的概率分布。这一工作虽然受限于当时的计算条件未能得到广泛应用，但它开创了将深度学习应用于语言建模的先河。

2013年，Word2Vec的出现是一个重要里程碑。Mikolov等人开发的词向量表示方法，首次在大规模语料上展示了分布式表示的强大威力。通过Word2Vec训练得到的词向量，语义相近的词在向量空间中距离相近，这使得模型能够捕捉词语之间的语义关系。Word2Vec的成功启示了一个重要道理：大规模预训练可以学习到有用的语言表示。这一洞见为后续的大型语言模型发展奠定了理论基础。

2.2 Transformer架构的革命性突破

2017年，Google的研究团队发表了开创性论文《Attention Is All You Need》，提出了Transformer架构。这一架构的提出，标志着自然语言处理领域进入了一个全新的时代。

Transformer的核心创新是自注意力机制（Self-Attention）。与之前的循环神经网络（RNN）相比，自注意力机制能够直接建模序列中任意位置之间的依赖关系，不受距离限制。同时，Transformer的计算具有高度并行性，可以充分利用GPU等并行计算设备的优势。

Transformer架构催生了预训练语言模型的大发展。2018年，Google发布了BERT（Bidirectional Encoder Representations from Transformers），这是一个基于Transformer编码器的双向预训练模型。BERT的创新之处在于它提出了“掩码语言建模”（Masked Language Modeling）任务——在训练时随机遮盖输入中的一些词，让模型预测被遮盖的词。这种训练方式使BERT能够同时利用词语的左右上下文信息，产生更深层的语言理解。

BERT在多项自然语言处理基准测试中取得了突破性成绩，引发了学术界和工业界的广泛关注。更重要的是，BERT的成功验证了“预训练-微调”（Pre-training and Fine-tuning）范式的有效性：先在大规模无标注文本上进行预训练，学习通用的语言表示；然后在特定任务的标注数据上进行微调，使模型适应具体任务。这一范式大大降低了对标注数据的需求，推动了NLP技术在各行业的广泛应用。

在BERT发布的同时，OpenAI也在语言模型领域进行着自己的探索。2018年6月，OpenAI发布了第一代GPT（Generative Pre-trained Transformer）。GPT采用了与BERT不同的技术路线——它是基于Transformer解码器的单向模型，主要通过“语言建模”任务进行预训练，即根据前文预测下一个词。尽管第一代GPT的规模相对较小，但它证明了生成式预训练的可行性，为后续的GPT系列奠定了基础。

2.3 GPT系列的演进与大型语言模型的崛起

如果说BERT开创了预训练语言模型的时代，那么GPT系列则将这一时代推向了新的高度，并直接催生了提示工程的兴起。

GPT-2发布于2019年2月，其最大特点是规模的大幅提升。GPT-2拥有15亿参数，是当时最大的语言模型之一。OpenAI的团队发现，随着模型规模的增大和训练数据的增加，GPT-2展现出了令人惊讶的“泛化能力”——它不仅能够完成训练时明确要求的任务，还能在没有明确监督的情况下完成各种语言任务。例如，给定一个文章开头，GPT-2能够生成连贯的后文；给定一个问题，GPT-2能够生成合理的答案。

更重要的是，OpenAI的研究者发现，GPT-2可以通过一种称为“提示”（Prompt）的方式来引导模型完成特定任务。他们设计了一种特殊的输入格式，将任务描述和示例都包含在输入中，让模型从这些示例中推断出应该如何响应。这种方法被称为“Few-shot Learning”或“in-context Learning”，它意味着模型可以在不更新参数的情况下，仅通过输入中的示例来完成新任务。

这一发现的意义是深远的。它表明，大型语言模型不仅存储了语言知识，还存储了执行各种任务的能力——只是这些能力需要通过合适的“提示”来激活。这正是提示工程兴起的直接技术背景。

GPT-3发布于2020年6月，是大型语言模型发展的一个重要里程碑。GPT-3拥有惊人的1750亿参数，是当时最大的语言模型。更重要的是，GPT-3展示了大规模预训练的威力：它能够在零样本（Zero-shot）和少样本（Few-shot）场景下完成各种任务，无需针对特定任务进行微调。

OpenAI的研究者系统地测试了GPT-3在各种任务上的表现，包括翻译、问答、推理、文本生成等。结果显示，GPT-3在许多任务上达到了接近甚至超越专门训练的模型水平。更引人注目的是，当在输入中提供几个示例（Few-shot）时，GPT-3的表现会显著提升。这表明，通过精心设计的提示，我们可以更充分地激发模型的潜能。

GPT-3的成功引发了学术界和工业界对大型语言模型的广泛关注。研究者们开始意识到，模型的规模可能是解锁更强大能力的关键。这一认识推动了一系列大规模模型的研发，包括Google的PaLM（5400亿参数）、DeepMind的Chinchilla（700亿参数）、Meta的LLaMA（650亿参数）等。这些模型的涌现，使得提示工程变得更加重要和紧迫。

2.4 Claude与对话式AI的演进

在GPT系列之外，Anthropic公司开发的Claude代表了大型语言模型的另一个重要发展方向——更安全、更可控、更适合实际应用的对话系统。

Anthropic成立于2021年，其创始团队来自OpenAI。公司从成立之初就将AI安全作为核心关注点，开发了“ Constitutional AI"（宪法人工智能）方法论。这一方法论的核心思想是，通过明确的原则（“宪法”）来指导模型的行为，使模型能够自我批判和改进，而不仅仅依赖于人工反馈的标注数据。

Claude基于这一方法论开发，其设计目标是在保持强大能力的同时，减少有害输出的风险。Claude展现出了出色的长文本理解能力、更长的上下文窗口，以及对复杂推理任务的支持。更重要的是，Claude在对话中表现出的“性格”更加谨慎和有分寸，能够更好地处理敏感话题和潜在的有害请求。

Claude的成功表明，提示工程不仅关乎如何激发模型的能力，还关乎如何引导模型的行为符合人类的价值观和期望。通过合适的提示设计，我们可以引导模型展现出更负责任、更可靠的一面。这一认识对提示工程的实践具有重要的指导意义。

2.5 提示工程的兴起与技术驱动因素

综合以上技术发展历程，我们可以清晰地看到提示工程兴起的背景和驱动因素。

第一，大型语言模型能力的质变。从GPT-2到GPT-4，从BERT到Claude，模型的语言理解和生成能力发生了质的飞跃。这些模型不再仅仅是一个“文本补全器”，而是展现出了推理、规划、创意等多种高级认知能力。这种能力的质变，使得“如何引导模型发挥这些能力”成为一个值得研究的问题。

第二，“提示即编程”范式的出现。GPT-3等模型展示的In-context Learning能力，意味着用户可以通过文本输入来“编程”模型的行为，而无需修改模型参数。这种范式将提示从简单的“输入”变成了可以影响模型行为的“程序”，赋予了提示工程前所未有的重要性。

第三，实际应用的需求拉动。随着大型语言模型在各个行业的广泛应用，如何让模型稳定、可靠地完成特定任务成为迫切需求。这种需求推动了提示工程作为一门实践性学科的发展，各种提示技巧、框架和工具不断涌现。

第四，对模型可控性的追求。大型语言模型的随机性和不可预测性，催生了对“可控性”的追求。提示工程提供了在不改变模型参数的情况下控制模型行为的方法，为解决可控性问题提供了重要途径。

三、核心概念框架：提示的定义、构成与分类

3.1 提示的基本定义

在提示工程的语境中，提示（Prompt）是用户向大型语言模型发送的输入文本，用于引导模型产生期望的输出。从功能上看，提示承担着三重角色：任务定义者、上下文提供者、格式规范者。

作为任务定义者，提示需要清晰地告诉模型需要完成什么任务。这可以通过直接陈述（如“请翻译以下句子”）、问句（如“这段文字的主要观点是什么？”）或隐含的方式（如在示例中暗示任务类型）来实现。任务定义的清晰程度直接影响模型能否正确理解用户意图。

作为上下文提供者，提示为模型提供了理解任务所需的背景信息。这可能包括相关的事实、知识、对话历史，或者更微妙地，通过情感色彩或语气来设定回应的基调。上下文的质量决定了模型能否在正确的框架下理解和回应。

作为格式规范者，提示可以指定输出的格式、结构甚至风格要求。例如，可以要求模型以列表形式回答、以特定格式输出JSON数据，或者使用某种特定的写作风格。格式规范使模型输出更加实用和易于处理。

3.2 提示的构成要素

一个完整的提示通常由以下几个要素构成。理解这些要素的作用，有助于我们设计更加有效的提示。

指令（Instruction）是提示的核心，明确告诉模型要执行什么操作。指令应该清晰、具体、无歧义。好的指令能够被准确地理解和执行，而模糊或含糊的指令则可