小李的烦恼：为什么AI总是一本正经地胡说八道
第 1 章：小李的烦恼：为什么AI总是一本正经地胡说八道
故事的开始：一个让产品经理夜不能寐的夜晚
2024年3月的一个深夜，智创科技公司的产品经理小李盯着电脑屏幕，眉头紧锁。她的邮箱里躺着十几封客户投诉邮件，每一封都在诉说同样的问题——公司新上线不到一个月的智能客服"智小服"，给客户提供了错误的信息。
最严重的一封投诉来自一位企业客户的技术负责人老王。他想要了解智创科技的数据导出功能支持哪些格式，"智小服"胸有成竹地告诉他支持JSON、CSV和XML三种格式，还可以"一键导出到Excel"。老王按照这个回答去配置系统，忙活了整整两天，最后发现"智小服"说的功能根本不存在——当前版本根本不支持XML导出，更没有什么"一键导出"的按钮。
另一封投诉则更加离谱。一位用户咨询公司最新推出的会员权益升级政策，"智小服"引用了一长串条款，听起来非常专业和详细。用户拿着这些条款去办理业务时，客服人员一脸茫然——这些条款是公司去年试点的旧政策，早在半年前就已经废除了。
"它怎么能这么理直气壮地说瞎话？"小李忍不住向坐在旁边的技术负责人老张抱怨，"而且你说的那些'大模型幻觉'到底是什么？为什么看起来那么专业、那么正确的东西，全是胡编的？"
老张放下手里的咖啡杯，叹了口气："这个问题，说来话长。"
大语言模型到底是怎么工作的
要理解为什么AI会"胡说八道"，我们先得弄清楚它是怎么"思考"的。
大语言模型（Large Language Model，LLM）的本质是一个极其复杂的统计机器学习系统。训练过程可以分为两个主要阶段：预训练和指令微调。
预训练阶段就像让一个人读遍人类历史上所有的书、文章、网页和对话记录。这个阶段，模型学习的不是某个具体的知识，而是文字之间的统计关系——什么词后面经常跟着什么词，什么样的句子结构更常见，什么样的表达方式更自然。通过海量文本的学习，模型学会了"语言建模"：给定一段文字，预测下一个最可能出现的字或词。
这个过程产生的模型已经非常强大——它能够生成流畅的文章、写诗、讲故事、回答常识问题。但它有一个根本性的限制：模型的知识完全来自于训练数据，而训练数据是有截止日期的。如果用2023年6月的数据训练的模型，它就不会知道2023年6月之后发生的任何事情，比如新的法律法规、新的产品功能、公司组织架构的调整，或者任何刚刚发布的新闻事件。
更重要的是，模型学到的是"模式"而非"事实"。当它说"中国的首都是北京"时，它不是在"记忆"这个事实，而是因为在训练数据中，"中国"和"北京"这两个词经常一起出现，而且出现的语境暗示北京是首都。模型很难区分这种统计相关性是否代表真实的因果关系或事实。
指令微调阶段则是在预训练模型的基础上，用高质量的问答对进行进一步训练。这一阶段的目标是让模型学会"遵循指令"，即理解用户的问题并生成有用的回答。经过指令微调的模型能够更好地理解问题的意图，生成结构化、有条理的回答，甚至还学会了"不知道就说不知道"这种基本礼貌。
但指令微调并没有从根本上解决知识陈旧的问题。一本再好的使用手册也无法让一个人掌握手册撰写之后出现的新知识。而且，微调过程本身也可能带来新的问题——模型可能被训练得过于"自信"，倾向于给出看似确定、专业的回答，即使它实际上并不确定。
这就是小李遇到的第一个核心问题：她的智能客服基于的是某个时间点的训练数据，但企业的产品功能、政策条款、联系方式每天都在变化。用户问的"你们现在支持什么格式"需要的是此时此刻的答案，而不是某个过去时间点的答案。
幻觉：AI"一本正经胡说八道"的本质
如果说知识陈旧还只是一个"不知道"的问题，那么大语言模型另一个令人头疼的特性——幻觉（Hallucination）——则是更棘手的挑战。
"幻觉"这个词用得很形象。就像人在极度疲劳或特殊状态下会分不清想象和现实一样，大语言模型有时候也会"脑补"出根本不存在的知识，而且表述得就像在陈述一个无可辩驳的事实。
让我们仔细分析一下"智小服"是怎么"编造"出那个不存在的XML导出功能的。
在模型的训练数据中，关于数据导出功能的描述可能分散在上万条文本中。有的文本讲JSON导出，有的讲CSV导入，有的提到某个版本的Excel支持。当用户问"支持哪些导出格式"时，模型并不是去"查询"一个知识库，而是基于所有这些文本的统计模式，生成一个"看起来最合理"的回答。它把各种导出格式的可能性都拼凑在一起，生成了"JSON、CSV和XML"这个回答。在模型的"认知"里，这个回答完全合理——因为这些格式在训练数据中都出现过，而且经常与"数据导出"这个话题相关联。
问题在于，模型没有能力区分"这些格式确实被使用过"和"这些格式确实被支持"之间的区别。它只是在做语言生成，而不是在做事实查询。
幻觉产生的原因是多方面的：
第一，模型的"知识"以权重形式存储，而非可查询的条目。 传统数据库里，你问"北京的人口是多少"，系统会精确查找"北京"这个条目的人口字段。但大语言模型里，这个数字被分散编码在上万亿个参数中。当模型回答这个问题时，它是在"回忆"一个可能的数字，而不是"查询"一个精确的记录。既然是"回忆"，就存在偏差的可能。
第二，模型被训练生成"连贯"的文本，而不是"正确"的文本。 在预训练阶段，模型的目标函数是预测下一个词，这个目标对"流畅性"的奖励远大于对"准确性"的奖励。即使模型"不确定"某个词是否正确，它也必须生成一个词——而倾向于生成一个在当前语境下最"自然"的词。这种训练目标让模型变成了一个极其擅长"一本正经地说任何话"的系统。
第三，指令微调可能强化了"过度自信"的倾向。 在训练数据中，当人类回答问题时，往往会给出明确、直接的答案。模型学会了这种表达风格，却没有学会区分"人类确实知道"和"模型只是在模仿人类知道的表达方式"。
第四，开放域生成任务与精确问答任务存在根本矛盾。 大语言模型被设计用来处理各种开放域的生成任务——写小说、写邮件、写代码。在这些任务中，"创造性"和"连贯性"是美德。但当用户问的是一个需要精确答案的问题时，比如"你们公司的退货政策是什么"，同样的"创造性"反而成了缺陷。
这就是为什么"智小服"会在回答用户问题时，不自觉地混合了部分真实信息、过期信息和完全虚构的信息。它并不是在故意撒谎——它根本不知道自己说的可能是错的。
先检索，后生成：RAG的核心思想
问题已经很清楚了：模型需要"知识"，但模型内部的知识不可靠、不可控、不可更新。
那么一个自然的解决方案就是：既然模型的内部知识不可靠，那我们就从外部找一个可靠的知识源，让模型在回答问题之前先去查一查。
这就是检索增强生成（Retrieval-Augmented Generation，RAG）的核心思想。
"先检索，后生成"这六个字看起来简单，但背后的逻辑非常深刻。
传统的大语言模型回答问题的过程是这样的：
``` 用户问题 → 模型内部推理 → 直接生成回答 ```
这个过程中，模型只能依靠自己"记住"的知识来回答。如果知识不存在、过时或者记错了，回答就会出错。
RAG改变了这个过程：
``` 用户问题 → 检索相关知识 → 将检索结果作为上下文 → 模型生成回答 ```
在生成回答之前，模型先去"查资料"，把检索到的相关信息作为额外的输入。这样，模型的回答就不再完全依赖于它的内部知识，而是可以基于实时的、可控的、可更新的外部知识。
我们可以把这个过程类比成一个人类专家回答问题的过程。当你咨询一位律师时，优秀的律师不会仅凭记忆回答复杂的法律问题，而是会先查阅相关法条和判例，然后结合自己的专业知识给出回答。RAG做的事情与此类似——它让AI从"仅靠记忆回答"进化到"先查资料再回答"。
RAG的价值远不止于解决"知识过时"的问题。
首先，准确性大幅提升。模型生成的内容有了事实依据，不再是"空中楼阁"式的凭空编造。即使模型对某个领域不够熟悉，只要检索到相关知识，它也能给出正确的回答。
其次，时效性得到保障。企业的产品更新、政策调整、市场变化都可以实时同步到知识库中，AI的回答永远是基于最新的信息。
第三，可控性和可解释性显著增强。当AI回答问题时，我们可以清楚地知道它参考了哪些资料。这些参考资料不仅可以用于验证回答的正确性，还可以在需要时展示给用户，增强信任度。
第四，私有知识的处理变得可行。企业的内部文档、专有技术、客户数据不可能被训练到通用模型中。通过RAG，我们可以让模型安全地访问这些私有知识，而不需要暴露给外部。
第五，成本效益更优。相比微调（Fine-tuning）需要大量计算资源重新训练模型，RAG的实现成本更低、更新更灵活。当知识发生变化时，只需要更新知识库，不需要重新训练模型。
RAG系统的三大基石：索引、检索、生成
了解了RAG的核心思想之后，我们需要进一步理解RAG系统是如何工作的。一个完整的RAG系统可以分解为三个核心模块：索引构建、检索和生成。
索引构建是整个系统的"准备工作"阶段。在这个阶段，我们需要把企业的知识库转换成模型能够高效检索的格式。企业的知识可能以各种形式存在——PDF文档、Word文件、网页、数据库记录、API接口返回的数据。这些原始资料需要经过一系列处理：首先进行文本提取，将非结构化的文档转换成纯文本；然后进行文本分块，把长文档切分成适合检索的小段落；最后为每个文本块生成向量嵌入（Embedding），将其映射到一个高维向量空间中。这样处理的原因是，机器更擅长处理数值向量而不是文字，通过向量相似度来匹配问题与知识，比直接匹配文字更加灵活和准确。
检索是系统的"查询"阶段。当用户提出问题时，系统首先将这个问题也转换成向量表示，然后在预先构建好的向量索引中，寻找与问题向量最相似的知识块。这个过程类似于在图书馆中寻找与用户问题最相关的书籍。检索系统需要考虑很多因素：如何准确理解用户的真实意图？如何在海量文档中快速找到最相关的片段？如何处理一词多义和模糊查询的情况？检索结果的质量直接决定了最终回答的质量——如果检索到的都是无关信息，再强大的生成模型也无法给出正确答案。
生成是系统的"输出"阶段。检索到的相关知识块会被组织成模型的上下文，连同用户的问题一起送给大语言模型。模型的任务是理解问题、阅读参考资料，然后生成一个准确、流畅、有用的回答。在这个阶段，模型需要具备理解多段参考文本的能力、综合不同来源信息的能力，以及生成自然语言回答的能力。
下面这张流程图展示了RAG系统的完整工作过程：
```mermaid flowchart TD A[用户提问] --> B[问题向量化] B --> C[向量相似度检索] C --> D[匹配Top-K知识块] D --> E[构建提示上下文] E --> F[大语言模型生成回答] F --> G[返回最终答案]
H[原始文档] --> I[文本提取] I --> J[文本分块] J --> K[向量化处理] K --> L[构建向量索引] L --> C
style A fill:#e1f5fe style G fill:#c8e6c9 style H fill:#fff3e0 ```
左侧虚线上方是索引构建流程，右侧虚线下方是运行时流程。索引构建是一次性的准备工作，运行时流程则是每次用户提问时都会执行的实时处理流程。索引构建的质量决定了检索效果的上限，而运行时流程的效率则决定了用户体验。
在实际的RAG系统中，每个模块都有大量的技术细节需要考虑。索引构建阶段，分块策略的选择（按段落、按句子、还是按滑动窗口？）会直接影响检索效果；向量化模型的选择（通用模型还是领域专用模型？）会影响语义理解的准确性；索引结构的设计（是否需要层次化索引？）会影响检索效率和准确性。检索阶段，向量检索的具体算法（余弦相似度、点积、还是其他？）、混合检索策略（向量检索加关键词检索？）、检索结果的重新排序（Re-ranking？）都是需要精心设计的环节。生成阶段，如何组织上下文、如何设计提示词（Prompt）、如何处理上下文长度限制，都是实际部署时必须面对的挑战。
本书的后续章节将逐一深入探讨这些技术细节。现在，读者只需要对整体架构有一个清晰的认知即可。
为什么企业需要RAG：来自一线实践的答案
小李听完老张的介绍，眼睛亮了起来："所以RAG能解决我们的问题？"
老张点点头，但语气谨慎："RAG确实是目前最主流的解决方案。但要不要上RAG，需要结合你们的具体情况来判断。"
RAG不是万能药，它解决的是特定类型的问题。我们需要问自己几个关键问题：
第一，企业是否有大量需要精准回答的私有知识？ 如果你的AI应用只需要回答"今天天气怎么样"这种通用问题，通用大模型已经足够了。但如果需要回答"你们公司的退货政策是什么""某款产品的技术规格是什么"这类与企业私有知识相关的问题，RAG就是必要的。因为这些知识不会出现在通用模型的训练数据中。
第二，知识的准确性要求有多高？ 如果AI只是用来写文案、做创意，对准确性的要求相对宽松。但如果AI要提供医疗建议、法律咨询、金融分析等高风险决策支持，每一个错误都可能造成严重后果。这时，RAG提供的可验证、可追溯的知识引用就显得至关重要。
第三，知识是否经常变化？ 企业的产品功能会更新，政策法规会调整，员工手册会修订。如果每次变化都需要重新训练或微调模型，成本将非常高昂。RAG的知识库可以独立更新，无需触及模型本身，更新成本大大降低。
第四，是否需要可解释性和审计能力？ 在很多行业（如金融、医疗、法律），AI的决策过程需要能够被解释和审计。RAG系统可以清楚地展示"AI是根据哪份文档的哪个段落生成的回答"，这对于合规和审计非常有价值。
第五，模型是否会出现"幻觉"导致业务风险？ "智小服"把不存在的功能说得头头是道，给客户造成了实质性的困扰。在客服、技术支持等直接面向客户的场景中，AI的"胡说八道"可能损害企业声誉，甚至导致客户流失。RAG通过限制模型只能基于检索到的知识回答，从根本上降低了幻觉产生的可能性。
对于智创科技来说，这些问题的答案都很明确：公司有大量产品文档、政策条款、常见问题解答需要准确传达；客服场景对准确性要求很高；产品功能经常迭代更新；需要能够向客户解释回答的依据。因此，RAG是智创科技智能客服系统的最佳选择。
"那我们现在就开始做？"小李跃跃欲试。
"先别急。"老张摆摆手，"RAG看起来原理简单，但要做得好、做得稳定、做得高效，还是有很多坑要踩的。我们得系统性地学习一下整个RAG工程的技术栈。"
小李点点头，开始在笔记本上列出一系列问题：如何把现有的产品文档变成适合检索的知识库？如何选择合适的分块策略？如何确保检索结果的准确性？如何让生成的回答既准确又自然？如何评估和优化整个系统的性能？
这些问题，正是本书接下来要逐一解答的。
本章小结
本章从小李的智能客服系统"智小服"遭遇的真实问题出发，探讨了为什么强大如ChatGPT的大语言模型仍然会"一本正经地胡说八道"。
大语言模型的"知识"来源于预训练阶段的统计学习，这种知识以参数权重而非可查询的条目形式存储，天然存在时效性限制和幻觉倾向。当用户需要基于企业私有知识的准确回答时，模型的内部知识既不够新、也不够准、更不够可控。
检索增强生成（RAG）提供了一种优雅的解决方案：通过"先检索后生成"的架构，让模型从可靠、可控、可更新的外部知识库中获取信息，再生成最终回答。这种架构不仅大幅提升了回答的准确性，还带来了时效性保障、可解释性增强、私有知识处理能力和成本效益优势。
一个完整的RAG系统由索引构建、检索和生成三大模块组成。索引构建负责将企业知识转换为可检索的向量表示；检索模块根据用户问题找到最相关的知识片段；生成模块则基于检索结果和原始问题，生成最终的回答。
在下一章中，我们将深入探讨RAG系统的索引构建模块，学习如何将散落在各处的企业知识整理成高质量的知识库，为后续的检索和生成奠定坚实基础。我们将从文档处理、文本分块、向量化表示到索引构建，全面拆解每一个技术环节，帮助读者构建起对RAG工程实践的系统性认知。