第一章：提示工程的诞生与演进

言之有道：第一章 提示工程的诞生与演进

1.1 引言：从一个对话说起

1966年，麻省理工学院的人工智能先驱约瑟夫·维森鲍姆（Joseph Weizenbaum）开发了一个名为ELIZA的程序。这个程序能够通过简单的模式匹配技术与人类进行对话，它模拟的是一位罗杰斯心理治疗师（Rogerian psychotherapist）的对话风格。当用户输入“我的母亲让我很烦恼”时，ELIZA可能会回应：“告诉我更多关于你的家庭。”这种看似智能的回应让许多与ELIZA交谈的人产生了强烈的情感共鸣，甚至有人坚持要与ELIZA单独交谈数小时之久。

然而，维森鲍姆本人却对这种现象感到困惑和不安。他后来写道：“我完全没有预料到，在如此短的时间内，简短的计算机程序竟然能够引起如此强烈的妄想。”这段历史常常被引用来说明人类倾向于将智能归因于看似智能的对话行为。但更重要的是，ELIZA开创了一个重要的传统：让机器通过自然语言与人类进行交互。

从ELIZA到今天的ChatGPT，人类与机器对话的方式经历了六十余年的演进。这一演进历程不仅仅是技术的进步，更反映了人类对“如何有效表达意图以获得机器帮助”这一根本问题的持续探索。提示工程（Prompt Engineering）正是在这一漫长探索过程中的最新阶段，它代表了一种全新的人机交互范式——人类不再需要学习复杂的编程语言来指挥机器，而是通过精心设计的自然语言指令来引导人工智能模型完成复杂任务。

本章将追溯提示工程作为一门学科和技术实践的起源与发展历程。我们将从人工智能的早期发展讲起，考察ELIZA等早期对话系统的诞生与局限；然后重点分析大语言模型的崛起如何为提示工程的出现奠定了技术基础；接着深入探讨提示工程兴起的背景因素，包括模型能力的跃升、计算资源的普及以及用户需求的爆发；最后，我们将在整个人工智能发展史的宏观框架下，明确提示工程作为人机交互界面的核心价值。通过这一历史脉络的梳理，读者将建立起对提示工程发展轨迹的整体认知，为后续章节的深入学习奠定历史背景基础。

1.2 人工智能的黎明：符号主义与专家系统时代

要理解提示工程的诞生，必须首先了解人工智能发展的宏观历史背景。1956年夏天，在达特茅斯学院举行的一次历史性会议上，约翰·麦卡锡（John McCarthy）、马文·明斯基（Marvin Minsky）、克劳德·香农（Claude Shannon）等一批年轻学者正式提出了“人工智能”（Artificial Intelligence）这一术语。他们宣称：“学习的每个方面或智能的任何其他特征原则上都可以被精确地描述，以至于可以用机器来模拟它。”

这一宣言开启了人工智能研究的序幕。在随后三十余年的时间里，符号主义（Symbolic AI）占据了人工智能研究的主流。符号主义的核心假设是：智能可以被形式化为对符号的操作，而知识可以被编码为明确的事实和规则。在这一范式下，早期的人工智能研究者们尝试通过手工编写大量规则来构建智能系统，这些规则通常以“如果-那么”（if-then）的形式存在，构成了所谓的“专家系统”（Expert Systems）。

MYCIN是这一时期最具代表性的专家系统之一，它由斯坦福大学在1970年代开发，用于辅助医生诊断细菌感染性疾病。MYCIN的知识库包含约450条规则，能够根据患者的症状和检验结果推荐抗生素治疗方案。在一项评估研究中，MYCIN的表现甚至优于某些人类传染病专家。然而，MYCIN从未被真正用于临床实践，原因之一是它缺乏处理不确定性的能力——医学诊断充满了模糊性和概率性，而MYCIN的规则系统难以优雅地表达这种不确定性。

专家系统的局限性逐渐显现出来。首先，构建和维护知识库的成本极高，需要领域专家和知识工程师的密切合作。其次，规则系统难以处理边界情况和新情况，一旦遇到知识库未覆盖的场景，系统就会“不知所措”。最后，这种方法缺乏真正的“理解”能力——系统只是在符号层面进行匹配和推演，而并不理解符号背后的语义。

尽管如此，符号主义时代的探索为人工智能的发展积累了宝贵的经验教训。一个重要的认识是：真正的人工智能系统需要能够处理不确定性、进行模糊推理，并且能够从经验中学习而不是仅仅依赖手工编写的规则。这些认识为后来连接主义（Connectionism）和机器学习的兴起埋下了伏笔。

1.3 自然语言处理的艰难探索

自然语言处理（Natural Language Processing, NLP）是人工智能的一个重要分支，旨在让计算机能够理解、解释和生成人类语言。在符号主义时代，研究者们尝试通过语法规则和语义网络来处理自然语言。莎伦·德雷福斯（Sharon Dreifus-Graf）在1980年代开发的SPHINX系统是这一时期语音识别的重要突破，它首次实现了对连续语音的实时识别，准确率达到了约90%（对1000个词的词汇表）。

然而，自然语言本身的复杂性和歧义性给规则-based方法带来了巨大挑战。以机器翻译为例，早期的机器翻译系统依赖双语词典和语法规则，但在处理多义词、固定搭配、文化背景等语言现象时表现不佳。1966年，美国自动语言处理咨询委员会（ALPAC）发布了一份著名报告，对机器翻译的前景持悲观态度，导致美国政府大幅削减了对机器翻译研究的资助，这一事件被后来的研究者称为“ALPAC灾难”。

进入1980年代，统计方法的兴起为自然语言处理带来了新的希望。研究者们开始利用大规模语料库和统计模型来解决语言问题。这一范式转换的标志性事件是IBM的研究人员在1990年代初期开发的Candide系统，这是一个基于统计方法的英语-法语机器翻译系统，它完全抛弃了手工编写的语法规则，转而从数百万对齐的双语文本中学习翻译模式。统计机器翻译的核心思想是：翻译是一个概率推理过程，目标是在给定源语言句子的情况下，找到最可能的目标语言译文。

虽然统计方法比纯规则方法取得了显著进步，但它仍然依赖于人工设计的特征和有限的语言模型。这些系统的语言理解能力是肤浅的——它们能够捕捉表层的统计规律，却难以真正理解语言的深层语义和语用功能。这一瓶颈直到深度学习时代的来临才被打破。

1.4 深度学习的革命与大语言模型的崛起

2010年代初期，深度学习（Deep Learning）技术的突破彻底改变了人工智能的面貌。与依赖手工特征的传统机器学习方法不同，深度学习能够自动从原始数据中学习层次化的特征表示。这一特点使其在图像识别、语音识别和自然语言处理等领域都取得了突破性进展。

2013年，托马斯科洛科夫（Tomas Mikolov）等人提出了Word2Vec模型，首次展示了如何从大规模文本语料中学习词的高维向量表示（词嵌入）。词嵌入的核心思想是“分布假说”（Distributional Hypothesis）：出现在相似上下文中的词具有相似的含义。在这个假设下，一个词的意思可以由它的上下文来定义，而词嵌入则将这种语义关系编码为向量空间中的几何关系。

```mermaid graph TD A[原始文本数据] --> B[词嵌入学习<br/>Word2Vec, GloVe] B --> C[循环神经网络<br/>RNN, LSTM, GRU] C --> D[注意力机制<br/>Attention Mechanism] D --> E[Transformer架构<br/>2017年] E --> F[预训练语言模型<br/>BERT, GPT, T5] F --> G[大语言模型<br/>GPT-3, GPT-4, Claude, Gemini]

style A fill:#e1f5fe style G fill:#c8e6c9 style E fill:#fff3e0 ```

2017年，谷歌的瓦斯瓦尼（Ashish Vaswani）等人发表了开创性论文《Attention Is All You Need》，提出了Transformer架构。这一架构完全基于注意力机制（Attention Mechanism），抛弃了传统的循环神经网络结构。Transformer的核心创新是自注意力机制（Self-Attention），它允许模型在处理一个词时同时关注序列中的所有其他词，从而更好地捕捉长距离依赖关系。

Transformer架构的出现标志着预训练语言模型时代的开启。2018年，谷歌发布了BERT（Bidirectional Encoder Representations from Transformers），这是一个双向编码器模型，在大规模语料上进行预训练后，可以通过微调适应各种下游任务。BERT在问答、文本分类、情感分析等众多NLP任务上都刷新了记录，引发了学术界和工业界的广泛关注。

与此同时，OpenAI也在2018年发布了初代GPT（Generative Pre-trained Transformer）。GPT采用了与BERT不同的架构设计——单向解码器结构，更适合生成任务。2019年，GPT-2发布，它拥有15亿参数，展现出了惊人的文本生成能力，甚至能够根据简短提示写出连贯的故事和文章。OpenAI最初以“担心被滥用”为由限制GPT-2的完整发布，这一决定在当时引发了争议，但也侧面反映了人们对日益强大的人工智能系统的担忧。

1.5 GPT-3：规模法则与涌现能力

2020年6月，OpenAI发布了GPT-3，这是一个拥有1750亿参数的大型语言模型。GPT-3的发布在人工智能领域引发了轰动，它不仅在规模上前所未有——参数数量是GPT-2的100多倍——更重要的是，它展现了一种被称为“涌现能力”（Emergent Abilities）的现象。

涌现能力是指模型在规模达到某个临界点后，突然获得之前不具备的新能力。斯坦福大学的研究者在2022年的一篇论文中系统地总结了语言模型的涌现能力，包括数学运算、多步推理、代码生成、语义推断等。以数学运算为例，较小的语言模型（如GPT-2）几乎无法正确完成两位数乘法，但GPT-3能够以相当高的准确率完成多位数的加减乘除运算。

GPT-3的另一个重要特性是它支持“上下文学习”（In-Context Learning）。传统的机器学习方法需要在大规模数据上进行梯度下降优化来更新模型参数，而GPT-3可以在没有任何参数更新的情况下，仅通过在输入提示中提供几个示例，就能学会执行新任务。例如，如果用户希望模型将英语句子翻译成法语，他只需要在提示中提供几个“英语→法语”的示例对，GPT-3就能学会这种映射关系并对新的英语句子进行翻译。

这一能力意味着GPT-3可以在运行时通过提示词进行“编程”，而不需要通过传统的模型微调来适应任务。这种范式被形象地称为“提示式编程”（Prompt-based Programming），它彻底改变了人类与语言模型交互的方式。用户不再需要掌握复杂的机器学习技术，只需要学会如何撰写有效的提示词，就能充分发挥语言模型的潜力。

OpenAI通过API向公众提供了GPT-3的访问权限，并观察到用户行为发生了显著变化：不同用户创建的提示词差异巨大，效果也天差地别。这促使研究者们开始系统性地研究如何撰写更好的提示词，提示工程作为一个新的研究领域和应用技术应运而生。

1.6 从规则到提示：人机交互范式的根本转变

回顾人工智能的发展历程，我们可以清晰地看到人机交互方式的演变轨迹。在符号主义时代，人类需要将知识形式化为精确的符号和规则，才能让机器进行推理和决策。这种方法要求人类具备高度的专业知识，能够用机器可以理解的形式语言来表达自己的意图。

在机器学习时代，人类不再需要手工编写规则，但仍然需要设计特征、处理数据、选择模型架构，并进行大量的调参工作。机器学习工程师需要深入理解算法的内部机制，才能有效地训练和优化模型。这一门槛仍然让许多非技术背景的用户望而却步。

大语言模型和提示工程的出现标志着一个根本性的范式转变。现在，人类可以用自然语言直接与机器对话，表达自己的需求和意图，而机器则能够理解这些模糊、不精确甚至有歧义的指令，并给出合理的回应。这种交互方式与人类之间的交流方式更加接近，大大降低了使用人工智能的门槛。

| 时代 | 交互方式 | 人类所需技能 | 机器能力 | |------|----------|--------------|----------| | 符号主义 | 形式化规则 | 编程语言、逻辑推理 | 确定性推理 | | 早期机器学习 | 特征工程 + 算法 | 统计学、特征设计 | 模式识别 | | 深度学习 | 数据 + 架构 + 超参 | 深度学习理论、调参 | 端到端学习 | | 大语言模型时代 | 自然语言提示 | 文字表达、领域知识 | 上下文理解、涌现能力 |

这种转变的深远意义在于，它将人工智能从一种需要专业训练的“技术”转变为一种可以被广泛使用的“工具”。任何能够用文字表达想法的人，都可以通过提示工程来利用大语言模型的能力解决实际问题。这是一场真正意义上的民主化革命。

1.7 提示工程的正式登场

2020年前后，提示工程（Prompt Engineering）作为一个术语开始在学术论文和技术博客中频繁出现。虽然很难确定谁是第一个使用这个术语的人，但到2021年，这一概念已经在人工智能社区得到了广泛认可。

Prompt（提示）一词在大语言模型的语境中有着特定的含义：它是指用户向模型输入的文本内容，用于引导模型产生特定的输出。在GPT-3的论文中，作者使用了“prompt”这个术语来描述模型的输入，并在附录中展示了用于不同任务的各种提示示例。这些示例包含了任务描述、输入数据和输出格式的说明，构成了后来被称为“零样本提示”（Zero-shot Prompting）和“少样本提示”（Few-shot Prompting）方法的基础。

“零样本提示”是指完全不提供示例，仅通过任务描述来引导模型执行新任务。例如，“将以下句子翻译成法语：Hello, how are you?”就是一个零样本提示。而“少样本提示”则是在提示中提供1到几个示例，帮助模型理解任务要求。例如，在进行情感分析时，可以先提供几个“句子→情感标签”的示例，然后再给出待分类的句子。

2021年，斯坦福大学的珀西·梁（Percy Liang）和他的合作者发表了一篇重要论文《Measurements of Prompt', 2021, 2(3): 1-44, 2021.】。这篇论文系统地研究了不同提示设计选择对语言模型性能的影响，发现即使是提示的微小变化（如词语选择、格式调整）也可能导致模型性能的显著差异。这项研究为提示工程作为一门系统性学科奠定了基础。

同年，谷歌研究院的科学家们发表了《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》【Wei et al., 2022】，提出了“思维链提示”（Chain-of-Thought Prompting）技术。这种方法通过在提示中展示推理步骤，让模型产生更准确的答案。思维链提示的发现具有里程碑意义——它表明，通过精心设计的提示结构，可以激发语言模型原本隐藏的推理能力。

1.8 思维链革命：提示与推理的深度结合

思维链提示的核心理念是：不要期望模型一步到位给出答案，而是引导它逐步思考。这种方法通常包含三个要素：首先，在提示中提供一个或多个包含完整推理过程的示例；其次，明确要求模型“让我们一步一步思考”或展示推理步骤；最后，模型在生成回复时会模仿示例中的思考过程，从而产生更可靠的输出。

在一项经典实验中，研究者们测试了GPT-3在数学应用题上的表现。当使用标准提示时，GPT-3在GSM8K（一个小学数学应用题数据集）上的准确率仅为约10%。但当使用思维链提示后，准确率提升到了约40%，进步幅度达到四倍。这一结果令人振奋——仅仅通过改变提示的形式，就能让模型的能力得到如此显著的提升。

思维链提示的成功揭示了一个重要洞见：大语言模型虽然有时候会给出看似合理但实际错误的答案，但它们的推理过程是可以被引导的。这为提示工程提供了一个重要的指导原则：提示不仅要指定“做什么”，还要帮助模型组织“怎么做”的思考过程。

受思维链提示的启发，研究者们又发展出了一系列相关技术：

自洽性解码（Self-Consistency）通过让模型对同一问题生成多个不同的推理路径，然后选择出现频率最高的答案来提高最终输出的可靠性。这种方法利用了这样一个假设：如果一个答案来自多条独立推理路径，那么它更可能是正确的。

最少到最多提示（Least-to-Most Prompting）将复杂问题分解为一系列子问题，逐一解决后再组合得到最终答案。这种方法特别适合那些需要多步推理的复杂任务。

程序辅助语言模型（Program-Aided Language Models, PAL）则创新性地将语言模型与代码解释器结合。模型负责理解问题并生成推理步骤（以代码形式），然后由代码解释器执行这些代码来完成计算任务。这种方法在需要精确数学运算的场景中表现优异。

1.9 提示工程作为学科的发展

随着大语言模型在各行各业的广泛应用，提示工程迅速从一个边缘技术成长为人工智能领域的显学。2022年至2023年间，关于提示工程的研究论文数量呈爆发式增长，涵盖了从基础理论到实践应用的各个方面。

在学术研究层面，提示工程吸引了来自自然语言处理、认知科学、人机交互、机器学习等多个领域的研究者。研究者们从不同角度探索提示的本质：在认知科学视角下，提示可以理解为人类向AI系统传递意图的一种外部表征形式；在机器学习视角下，提示是一种条件生成的条件；在人机交互视角下，提示是用户界面的核心元素。

几个重要的研究问题逐渐浮现出来。首先是“提示的优化问题”：给定一个任务，如何系统性地找到最优的提示？这涉及到搜索策略、梯度优化、遗传算法等多种技术。其次是“提示的可迁移性问题”：在一个模型上学到的有效提示是否适用于另一个模型？研究表明，不同模型对提示的敏感度存在差异，同一个提示在不同模型上可能产生截然不同的效果。第三是“提示的鲁棒性问题”：提示中的微小变化可能导致输出质量的大幅波动，这给实际应用带来了挑战。

在产业界，提示工程也催生了新的职业和岗位。2023年，随着生成式AI应用的爆发式增长，“提示工程师”（Prompt Engineer）成为了科技行业最热门的新兴职位之一。尽管这一职位的具体定义和技能要求仍在不断演变，但核心共识是：提示工程师需要深入理解语言模型的工作原理，具备出色的文字表达能力，并能够将业务需求转化为有效的提示设计。

一些公司开始提供专门的提示工程培训和认证服务。在线学习平台上关于提示工程的课程数量急剧增加，受众涵盖了从软件开发人员到营销专业人士的广泛群体。同时，提示工程相关的工具和平台也应运而生，帮助用户更高效地创建、测试和优化提示。

1.10 大语言模型能力的持续跃升

提示工程之所以能够在如此短的时间内发展成为一门重要学科，根本