从“胡言乱语”到“言之有据”——RAG是什么

从“胡言乱语”到“言之有据”——RAG是什么

想象这样一个场景：你的好朋友小明的知识面非常广，上知天文下知地理，平时和他聊天总是能收获很多新知识。但有一个问题特别让人头疼——他回答问题的时候特别爱“现编”。

你问他：“唐朝的第三位皇帝是谁？”

小明脱口而出：“是唐玄宗李世民！”

你再问：“不对吧？唐玄宗不是李隆基吗？”

小明眼珠子一转，理直气壮地说：“哦对，我记错了。是李世民，但李世民是庙号，谥号叫唐高祖！”

你感觉哪里不对劲。翻书一查，好家伙——唐朝第三位皇帝确实是李隆基（唐玄宗），但李世民是唐朝第二位皇帝（唐太宗），根本不是什么“第三位”。小明明明是个“历史爱好者”，为什么会犯这种低级错误？

答案很残酷：小明不是故意骗你，他是真的“相信”自己说的是对的。这种无意识地编造错误信息并自信输出的现象，在人工智能领域有个专门的名字——幻觉（Hallucination）。

而今天我们要学习的RAG，就是一剂治疗AI“幻觉”的特效药。

大模型的“幻觉”问题

要理解RAG为什么能解决幻觉问题，我们首先得搞清楚：大模型为什么会产生幻觉？

让我们把时间拨回到大语言模型诞生之前。早期的AI系统回答问题的方式非常“老实”——它们只会从自己预先存储好的知识库中查找答案。如果问的问题恰好在知识库里，AI能给出正确答案；如果问的问题超出知识库范围，AI会老老实实地说“我不知道”。

这种“老实”当然有代价：AI的知识是死的、固定的，无法应对灵活多变的提问。

2020年前后，大语言模型横空出世，彻底改变了这个局面。以GPT为代表的大模型不再依赖预先设定的知识库，而是通过学习海量文本，掌握了“生成”回答的能力。你可以问它任何问题，它都能根据自己学到的语言规律“现编”一个答案出来。

这带来了一个革命性的变化：AI变得“博学”了，几乎什么问题都能回答。但同时也带来了一个致命问题：当AI“现编”答案时，它并不能保证内容的真实性。

什么是“幻觉”

“幻觉”这个词来自心理学，原意是指人在清醒状态下产生的不真实感知。比如明明什么都没有，却看到了幻象、听到了声音。大模型产生的内容虽然不是视觉或听觉上的幻觉，但本质上是类似的——模型自信满满地“看到”（生成）了根本不存在的文本内容。

大模型的幻觉主要表现为以下几种形式：

第一种是事实性错误。模型会把真实的历史事件张冠李戴，把正确的概念偷梁换柱。就像开头故事里的小明，把李世民和唐玄宗搞混了，却说得言之凿凿。

第二种是“无中生有”。模型会编造出不存在的文献、数据、人名、地名。你问它某本书的某个章节写了什么，它能给你编出一段像模像样的“原文”；你问它某个统计数据，它能给出一个精确到小数点后两位的数字——偏偏这本书和这个数据都是它自己“想”出来的。

第三种是逻辑矛盾。模型在长文本中前后说法不一致，或者推导过程中出现自相矛盾的结论。比如前一段说“人工智能已经超越人类”，后一段又说“人工智能还远不如人类”，自己打自己的脸。

为什么大模型会产生幻觉

要理解幻觉产生的根源，我们需要稍微了解一下大模型的工作原理。

大语言模型本质上是一个极其复杂的“文字接龙”机器。当你输入一段文字时，模型会预测下一个最可能出现的文字是什么，然后输出这个文字，再把这个新文字加入输入，继续预测下一个……如此循环往复，直到生成完整的回答。

这个预测过程完全依赖于统计学规律。模型在学习海量文本的过程中，发现“中国的首都是”后面大概率会出现“北京”，所以当你问“中国的首都是”时，它就输出“北京”。但如果你问一个训练数据中很少出现的问题，模型就可能“随机发挥”，选择一个看似合理但实际错误的词来填充。

更关键的是，大模型并不理解文字的含义。它不知道“唐朝第三位皇帝”到底指的是哪个人，它只是在进行模式匹配和概率计算。当模型输出“李世民国”或者编造出“唐朝第三位皇帝是李世民”这样的错误时，它并不“知道”自己错了——因为在它的判断中，这些词汇的组合方式看起来是合理的。

这就好像一个记忆力超强但完全不理解历史的人。他记住了大量的历史片段和日期，但这些记忆是碎片化的、混乱的。当被问到问题时，他只能根据记忆的碎片“拼凑”出一个答案，而这个答案很可能与史实不符。

还有一个重要原因：训练数据的时间限制。大模型的知识来源于它训练时使用的数据，而训练数据的收集总有一个截止日期。比如一个模型在2024年6月完成训练，那么对于2024年6月之后发生的事情，它就完全“失忆”了。但用户可能会问它关于2024年12月的事情，模型不会说“我不知道”，而是会尝试“编”一个答案出来。

幻觉问题有多严重

对于普通聊天场景来说，偶尔的幻觉可能无伤大雅——你可以把它当作茶余饭后的谈资。但当大模型被应用于医疗诊断、法律咨询、金融分析等高风险领域时，幻觉问题就变得不可接受了。

想象一下：你问一个AI医疗助手：“我怀孕了可以吃这个药吗？”AI自信地回答：“可以，孕妇禁用是谣言。”结果你真的听了AI的建议，导致胎儿发育异常。这样的错误是不可原谅的。

更隐蔽的幻觉更加危险。模型可能会90%的内容都是正确的，只有10%是编造的。用户很难发现那10%的错误，反而会因为大部分内容正确而对整个回答产生信任。这就像一个总是说真话的人，偶尔撒一次谎，你大概率会当真。

正是因为幻觉问题的存在，很多企业和机构不敢将大模型直接应用于关键业务场景。有什么办法能让大模型在“自由发挥”的同时，保证内容的真实性呢？

答案就是我们今天要介绍的RAG。

RAG的基本原理：检索+生成的协同工作

RAG的全程是Retrieval-Augmented Generation，翻译过来就是“检索增强生成”。这个名称已经直观地告诉我们RAG的核心思想：不是让模型凭空生成答案，而是先检索、再生成。

要理解这个概念，我们可以做一个思想实验。假设你明天要参加一场关于量子物理的考试，内容涉及你从未学习过的专业知识。你会怎么做？

最聪明的做法不是试图在考试前一晚“硬背”所有知识——那样既费时又容易记错。更好的方法是带上参考资料和书籍进入考场。遇到不会的题目时，你可以查阅资料，找到相关的知识点，然后基于这些真实的资料来组织答案。

这样做的好处显而易见：你的答案将基于真实的、有据可查的信息，而不是靠模糊的记忆“现编”。即使你对量子物理一窍不通，只要参考资料足够丰富，你也能给出准确的答案。

RAG就是为大模型提供了这样一本可以随时查阅的“参考资料”。

从“闭卷考试”到“开卷考试”

如果我们用考试来类比，大模型的工作方式就像是闭卷考试。模型必须在“考试”（回答问题）的时候，仅凭自己“记忆”（训练数据）中的信息来作答。当问题涉及的记忆模糊或者根本没有学过相关内容时，模型就只能“瞎猜”了。

RAG则将这场考试变成了开卷考试。模型不再需要依赖自己的记忆来回答问题，而是可以先查找“参考资料”（外部知识库），然后基于查找到的真实信息来生成答案。

这个转变带来的变化是革命性的。模型的“记忆”（参数知识）仍然有用，但不再是唯一的知识来源。模型可以随时查询“参考资料”（非参数知识），从而获得更准确、更及时、更专业的信息。

具体来说，RAG系统的工作流程可以分为三个步骤：

第一步是检索（Retrieval）。当用户提出问题时，系统会从外部知识库中查找与问题相关的信息片段。这个过程类似于在图书馆中根据书名、作者、关键词等找到相关的书籍章节。

第二步是增强（Augmentation）。找到的相关信息片段会被加入到模型的输入中，作为生成答案的“上下文”。模型在生成回答时，不仅能看到用户的问题，还能看到这些真实的参考资料。

第三步是生成（Generation）。模型基于用户的问题和检索到的参考资料，生成最终的回答。由于有真实的参考资料作为依据，模型就不太可能“胡说八道”了。

```mermaid graph TD A[用户提问] --> B[检索器搜索知识库] B --> C{找到相关片段?} C -->|是| D[将相关片段作为上下文] C -->|否| E[使用模型自身知识] D --> F[生成器生成回答] E --> F F --> G[输出最终回答] ```

这个流程图展示了RAG系统的基本工作模式。我们可以看到，检索器扮演了“图书馆管理员”的角色，它负责在知识库中快速找到与问题最相关的资料；生成器则扮演了“研究员”的角色，它根据检索到的资料来撰写“研究报告”（回答）。

为什么检索+生成比纯生成更好

你可能会问：既然大模型已经这么强大了，为什么还要给它配一个检索系统？让它自己回答不就好了吗？

这个问题触及到了RAG的核心价值。检索增强之所以比纯生成更好，主要有以下几个原因：

第一，解决了知识过时的问题。大模型的知识截止于训练数据的收集时间，而外部知识库可以实时更新。如果你想让模型回答昨天发生的新闻，纯生成模型无能为力，但RAG系统可以从最新的知识库中检索到相关信息。

第二，减少了幻觉。这是RAG最重要的价值。当模型生成回答时，如果能看到真实的参考资料，它就不太可能凭空编造。即使模型“想”要胡说八道，参考资料中不存在的虚假内容也会提醒它保持诚实。

第三，提高了回答的可追溯性。在使用纯生成模型时，你很难知道模型的回答是基于什么信息得出的。而在RAG系统中，你可以追溯到答案参考了哪些文档，来源透明可查。

第四，降低了训练和更新成本。如果要在大模型的参数中注入新知识，需要重新训练模型，这需要大量的计算资源和时间。而在RAG系统中，你只需要更新外部知识库，无需修改模型本身。就像图书馆进了新书，不需要换掉图书管理员，只需要把新书放到书架上。

第五，支持个性化知识库。每个企业、每个个人都有自己的私有知识。这些知识可能根本没有出现在大模型的训练数据中，因此纯生成模型不可能知道。但通过RAG，你可以将这些私有知识放进知识库，让模型随时查询。

这五个优势结合起来，使得RAG成为当前最受关注的AI应用技术之一。无论是构建企业知识库问答系统，还是开发专业领域的AI助手，RAG几乎成为了“标准配置”。

类比理解：图书馆系统如何帮助我们找书

光看原理还不够直观，让我们用一个所有人都熟悉的场景——图书馆——来完整理解RAG系统是如何工作的。

想象你走进一座大型图书馆，想要研究“人工智能在医学领域的应用”这个主题。你会怎么做？

首先，你需要明确你的问题。你不能对图书馆说“给我人工智能的资料”，那样太模糊了。你得说清楚你想了解的是“人工智能在医学领域的具体应用案例和最新进展”。问题越清晰，图书馆越容易帮助你。

在RAG系统中，用户的提问就相当于你向图书馆提出的问题。系统会对问题进行一些处理，比如提取关键词、判断问题的意图等，让检索过程更高效。

接下来，图书馆会帮你查找相关的书籍和资料。一个经验丰富图书管理员会怎么做？他可能会：

1. 查看目录卡片或电子系统，找到标记为“人工智能”和“医学”相关的书籍 2. 翻阅每本书的索引，找到提到相关内容的页码 3. 筛选出最相关、最权威、最新的资料

这个过程对应RAG系统中的检索模块。检索器会从知识库中找出与问题最相关的信息片段。常用的检索方法包括关键词匹配、语义相似度计算等。

找到资料后，图书馆不会直接把一堆书籍扔给你让你自己看。它会帮你整理和呈现有用的信息。管理员可能会告诉你：“这本《AI医学革命》第三章讨论了你的问题，有几个关键案例；还有这篇去年的期刊论文总结了最新进展……”

在RAG系统中，这个步骤叫做构建上下文。检索到的信息片段会被组织起来，作为生成回答的参考材料。有时候会只选择最相关的几个片段，有时候会把所有相关片段都提供给生成器。

最后，你拿着这些资料阅读并整理出你的答案。你会仔细研读，找到核心观点，记录关键案例，用自己的语言组织成完整的回答。

这对应RAG系统中的生成模块。大语言模型会根据用户的问题和检索到的参考资料，生成一段连贯、准确、有据可查的回答。

从图书馆到向量数据库

如果你经常去图书馆，可能会发现一个有趣的现象：不同图书馆的找书体验差异很大。有的图书馆目录混乱，找半天找不到想要的书；有的图书馆系统智能，能根据你的需求推荐相关书籍。

传统图书馆使用的是关键词检索。你输入“人工智能医学”，系统就匹配标题或内容中包含这两个词的资料。这种方式简单直接，但有个明显缺陷：同义词无法匹配。比如你搜索“电脑”，但有些书用的是“计算机”，你就找不到这本书。

现代图书馆越来越多地使用语义检索。你问“人工智能在医疗中的作用”，系统不仅能找出直接相关的书籍，还能找出谈论“AI辅助诊断”“机器学习健康应用”等相关内容——即使这些书没有出现“人工智能”和“医学”这两个词。

这种语义理解能力来自于一种叫做向量 Embedding的技术。

简单来说，向量是一种数学表示。当我们把一段文字转换成向量后，语义相近的文字会有“相似”的向量表示，就像几何空间中距离较近的点。计算机可以快速计算向量之间的相似度，从而找到语义相关的内容。

RAG系统的知识库正是基于这种向量技术构建的。所有的知识文档首先会被切分成小的片段，然后每个片段都会被转换成向量存储起来。当用户提问时，问题的向量会被计算出来，系统只需要找到与问题向量最“接近”的文档片段即可。

```mermaid graph LR A[知识文档] --> B[文档切分] B --> C[片段1<br/>片段2<br/>片段3...] C --> D[向量化] D --> E[向量数据库]

F[用户问题] --> G[问题向量化] G --> H[相似度匹配] E --> H H --> I[检索最相关片段] I --> J[构建上下文] J --> K[生成回答] ```

这张图展示了从文档入库到检索查询的完整流程。我们可以看到，整个过程就像是把图书馆的纸质书籍“翻译”成了一种特殊的“密码”（向量），然后用这种密码来进行更智能的匹配。

图书馆管理员 vs. 搜索引擎

你可能会觉得，这个RAG系统的检索功能听起来和搜索引擎很像。确实，两者都是用来查找信息的技术，但它们有几个关键区别。

第一，返回的内容形式不同。搜索引擎返回的是网页链接，你需要自己点击进去阅读。RAG系统返回的是直接可用的内容片段，而且这些片段会被整合到最终的回答中。

第二，搜索引擎是一次性查询，RAG是多轮交互。搜索引擎通常是一次性操作，你搜完就结束了。RAG系统可以支持更复杂的对话场景，比如你追问“这和我刚才问的有什么关系”，系统会结合之前的上下文继续检索和回答。

第三，搜索引擎是公开网络，RAG可以是私有知识库。搜索引擎只能搜索互联网上公开的内容，无法访问你的私人笔记、公司内部文档、专有数据库。RAG系统可以连接任何你有权访问的数据源。

第四，搜索引擎不关心答案生成，RAG强调生成质量。搜索引擎只负责找到相关信息，不管你怎么用这些信息。RAG系统则将检索和生成作为一个整体来优化，确保生成的回答既准确又流畅。

打个比方来说：如果搜索引擎是一个帮你找到参考书目的图书馆目录系统，那RAG就是一个不仅帮你找书，还能帮你读完书并撰写读书报告的智能助手。

RAG系统的三大核心组件

理解了RAG的工作原理和类比之后，我们现在来深入了解RAG系统的内部结构。一个完整的RAG系统由三大核心组件构成：知识库、检索器和生成器。

知识库：RAG的“资料室”

知识库是RAG系统存储和管理外部知识的地方。你可以把它想象成图书馆的书库，所有参考资料都整齐地存放在这里。

知识库的构建通常包括以下几个步骤：

第一步是数据收集。你需要确定系统需要回答什么类型的问题，然后收集相关的文档作为知识来源。这些文档可能来自各种格式：PDF文件、Word文档、网页内容、数据库记录、甚至聊天记录。收集的范围取决于你的应用场景——如果是企业知识库，可能需要收集内部文档、产品手册、培训材料；如果是通用问答系统，则需要收集百科全书、新闻报道、学术论文等。

第二步是数据清洗。原始数据往往包含很多“噪音”，比如格式混乱的排版、重复的内容、失效的链接等。数据清洗就是把这些噪音去掉，只保留有价值的内容。这个步骤虽然看起来不起眼，但对最终效果影响很大—— garbage in, garbage out（垃圾进，垃圾出）。

第三步是文档切分。你不能把整本书作为一个整体来检索，那样太粗糙了。检索时需要找到的是具体的、细粒度的知识点。因此，大文档需要被切成小的片段（Chunk）。切分的方式很重要：太小会丢失上下文，太大则会引入无关信息。常见的策略是按段落、按固定字数、或者按语义边界来切分。

第四步是向量化存储。每个文档片段都会被转换成向量，然后存储到向量数据库中。这个数据库就是RAG系统能够快速检索的关键。

第五步是索引优化。为了提高检索效率，可以对向量数据库添加各种索引。同时，也可以为文档添加元数据标签（如类别、来源、时间等），支持更精细的检索过滤。

检索器：RAG的“导航仪”

检索器负责根据用户问题找到最相关的知识片段。如果说知识库是“图书馆”，那检索器就是“图书管理员”——它知道每本书讲了什么内容，能够根据你的问题快速定位到相关章节。

检索器的核心任务是在向量数据库中找到与用户问题最相似的文档片段。这听起来简单，但背后涉及几个关键技术：

文本向量化（Embedding）：这是检索的基础。你需要用一个模型把文本转换成向量。常用的模型有OpenAI的text-embedding-ada-002、国内的BGE、m3e等。选择什么模型会影响检索的准确度。

相似度度量：向量之间的距离代表语义的相似程度。常用的度量方式有余弦相似度、欧氏距离等。余弦相似度衡量的是两个向量的方向是否一致，而欧氏距离衡量的是两个向量在空间中的实际距离。

混合检索：纯语义检索有时候不如关键词检索精确。为了取长补短，RAG系统常常采用混合检索策略——同时使用向量检索和关键词检索（如BM25），然后对结果进行融合。

重排序（Rerank）：初步检索的结果可能不够精准，特别是当问题涉及多个子主题时。重排序模型会对初步结果进行二次排序，把最相关的放到最前面。常用的重排序模型有Cohere Rerank、BGE Reranker等。

查询改写：用户的提问方式可能和知识库中的表述不一致。比如用户问“怎么治疗感冒”，但知识库中的文档用的是“感冒的药物治疗方案”。查询改写技术可以帮助理解用户真实意图，扩大或调整检索范围。

生成器：R