开篇故事：那天，模型说了一个不存在的判例
第一章：一个不存在的判例，如何撕开了大模型的"底裤"
1.1 五千美元的代价：一个真实发生的故事
故事发生在 2023 年的纽约曼哈顿，发生在美国联邦法院一间再普通不过的会议室里。
一位名叫 Steven Schwartz 的律师，在他执业三十余年的生涯中，大概从未如此狼狈过。这位律师任职于一家名为 Levidow, Levidow & Oberman 的纽约律师事务所，是一位处理人身伤害案件的资深从业者。然而在 2023 年 5 月，他向曼哈顿联邦地区法院（United States District Court for the Southern District of New York）提交了一份法律意见书，里面引用了六个看似煞有介事的判例。
这六个判例，每一个都不存在。
故事的另一位主角是 Roberto Mata——一位乘坐哥伦比亚航空（Avianca）航班、因一个金属餐车从头顶行李架掉落而受伤的空乘人员。他起诉了航空公司，索赔赔偿金。他的代理律师，正是 Schwartz。
按照标准的法律流程，律师需要提交一份"法律意见书"（legal brief），引用过往的判例来支持自己的论点。Schwartz 律师做了一件在过去三十年里他可能每天都做的事：他打开电脑，开始搜索相关的判例法（case law）。只不过这一次，他打开的不是 LexisNexis 或 Westlaw——这两个是律师们最常用的法律数据库——而是 ChatGPT。
Schwartz 在法庭上后来承认，他用 ChatGPT 来"补充研究"（supplement his research）。他向 ChatGPT 提问："哥伦比亚航空在人身伤害案件中，'Montgomery v. Louisiana' 这一判例是否适用于此案？"
ChatGPT 给了 Schwartz 一个斩钉截铁的"是"，并且贴心地附上了六个判例，每一个都有完整的案号、判决日期、引用来源，看起来像模像样。其中甚至包括一个名为 "Varghese v. China Southern Airlines" 的判例，声称该案判决航空公司赔偿一位乘客 79,000 美元，因为"在飞行中因服务车导致的头部撞击"。
Schwartz 把这些内容直接复制粘贴进了他的法律意见书，提交给了法官 P. Kevin Castel。
Castel 法官是一位经验极其丰富的联邦法官，审过无数案子。他读到这份意见书的时候，敏锐地察觉到了某些不对劲的地方。他注意到那些判例的引用格式有些奇怪——名字看上去很合理，但具体细节经不起推敲。法官命令律师们提供这些判例的真实文本。
Schwartz 在邮件里回复法院说："我向 ChatGPT 进行了核实，它告诉我这些案例是真实的。"他还附上了一张截图，证明他"问过 ChatGPT"，并得到了"是的，这些案例是真实的"这样的回复。
法官彻底被激怒了。
2023 年 6 月 22 日，Castel 法官签发了一项制裁令（sanctions order）。这份长达 22 页的文件里，有几段几乎是毫不留情的批评：
> "这些案例是假的。它们的引证看起来像真的，但它们是假的。"（These cases are bogus. They read like citations, but they are bogus.） > > "Schwartz 先生的行为辜负了客户，也辜负了作为出庭律师（member of the bar）的职业身份。"（Mr. Schwartz's conduct was a function of his client and of the legal profession.）
最终，Schwartz 和他的合伙人 Peter LoDuca 被处以 5,000 美元的罚款（后来减至每人 2,500 美元），并被命令向所有收到这份意见书的法官发送更正信。
这件事在 2023 年 6 月迅速登上了全球科技新闻的头条。不是因为 5,000 美元的罚款——对于一家律师事务所来说这点钱微不足道——而是因为这件事击中了一个很多人心中隐隐担忧但又不敢直面的问题：
> 我们正在使用的这些 AI，是不是在以一种极度自信的方式，在编造东西？
而且，它编造得那么像，那么流畅，那么具有说服力。
如果这位律师不是恰好把意见书提交给了联邦法院，而是提交给了一份内部的备忘录、一份商业合同的附件、或者一份发给客户的邮件呢？如果对方没有去核实呢？如果那些"判例"恰好支持了一个更巧妙、更具说服力的论点呢？
这就是大模型"幻觉"（hallucination）问题第一次以如此戏剧化的方式进入大众视野的时刻。
而这只是开始。
---
1.2 "幻觉"是什么？为什么它会发生？
1.2.1 一个让你脊背发凉的定义
"幻觉"（hallucination）这个术语，在 AI 语境下，指的是模型生成的内容看似合理、语法流畅、语气自信，但实际上与事实不符，或者完全没有事实依据。
它有几种典型形态：
1. 事实性幻觉（Factual Hallucination）：模型生成的内容与客观事实相矛盾。例如，把"现任美国总统"说成某个早已卸任的人，或者把某项科学发现的时间搞错。
2. 引用性幻觉（Citation Hallucination）：就像 Schwartz 律师遇到的那样——生成看起来真实但实际上不存在的引文、链接、论文、判例。这是法律和学术界最头疼的问题。
3. 逻辑性幻觉（Logical Hallucination）：模型给出的推理过程听起来头头是道，但仔细一推敲，逻辑链条是断裂的，或者前提就是错的。
4. 虚构性幻觉（Confabulation）：模型在面对不确定的问题时，不是说"我不知道"，而是编造一个完整的、看起来很有道理的答案。
你可以把这四种幻觉想象成不同类型的"撒谎"：第一种是"记错了"，第二种是"伪造证据"，第三种是"推理漏洞"，第四种是"随口胡诌"。
最让人不安的是最后一种——虚构性幻觉——因为它最难防范。当模型说"我不知道"的时候，我们知道要小心；但当模型说得斩钉截铁、信心十足，甚至配上引文和数据的时候，我们反而最容易相信。
这正是 Schwartz 律师跌入的陷阱。
1.2.2 从技术角度揭开"幻觉"的成因
要理解为什么会发生幻觉，我们需要先理解大模型到底是什么。
> 大语言模型（Large Language Model，简称 LLM），本质上是一个极其复杂的"下一个词预测器"。
你给它一段文字，它会根据概率预测下一个最可能出现的词是什么。然后把这个词加入序列，再预测下一个，再下一个，再下一个……
这就是为什么 ChatGPT、Claude、Gemini 这些模型能够"写作"——它们不是在"思考"，它们是在做"概率性的接龙"。
举个最简单的例子。如果你训练一个简单的语言模型在大量中文文本上，它会学到这样的概率分布：
- "今天天气" 后面跟着 "很"、"不错"、"真好"、"怎么样" 的概率，要比跟着 "西兰花" 的概率高得多。
大模型做的事情与此本质相同，只是规模放大了万亿倍。
那么问题来了：概率性的预测，为什么会产生幻觉？
原因是多方面的：
第一，模型没有"事实数据库"。模型在训练时吸收了海量的文本（数万亿个词），但它并没有把这些文本存成一个可以"查询"的数据库。它学到的是统计模式：哪些词经常一起出现？哪些句子接在另一些句子后面看起来"自然"？
当你问它"华盛顿什么时候成为美国第一任总统"时，它不是去查《美国百科全书》，而是从训练数据中匹配"华盛顿"和"第一任总统"这些概念的相关上下文，然后根据统计规律"组合"出一段看起来合理的文字。
如果训练数据里，关于"乔治·华盛顿"的资料非常充分，模型能正确说出"1789 年"。但如果是一个训练数据中信息很少的话题，比如"某某小镇 1987 年的一场足球赛的比分"，模型就可能开始"自由发挥"了。
第二，模型没有"知道"与"不知道"的界限。人类有一种元认知能力（metacognition）——我们知道自己知道什么，也知道自己不知道什么。当我们不确定时，我们会说"我不确定"、"我需要查一下"。
但大模型没有这种能力。它的训练目标就是"生成下一个词"，无论这个话题它是否了解，它都会生成下去。它不会"意识到"自己在编造。对它来说，"华盛顿是 1789 年成为总统"和"那场足球赛的比分是 3 比 1"在生成机制上没有本质区别——都是在做统计预测。
第三，训练数据本身包含错误。模型是从人类文本中学习的。人类文本里有真相，也有谬误、谣言、宣传、过时的信息。模型没有能力区分哪些是真、哪些是假，它学的是"哪些词经常一起出现"，而不是"哪些陈述是真实的"。
第四，"流畅性"不等于"正确性"。大模型被训练得越来越"流畅"，生成的文字越来越像人话。但流畅性是表面的、语言层面的；正确性是深层的、事实层面的。这两者可以完全分离。一段流畅的文字可以完全是错误的，反之亦然。
这就引出了我们理解大模型最重要的一个比喻——
---
1.3 把大模型比作"闭卷考试的学生"
1.3.1 一个天才但不靠谱的应试者
想象一下这个场景：
一位学生被关在一个密闭的房间里，参加一场考试。这场考试涵盖了过去 500 年人类文明的几乎所有知识——历史、科学、法律、医学、文学、哲学、艺术。学生曾经花了十年时间，把图书馆里所有的书都读了一遍，把每一页都"过"了一遍。但读完之后，所有的书都被收走了。
现在，学生面前摆着一张试卷。题目五花八门：
- "第二次世界大战在哪一年结束？"（学生大概率能答对，因为这个话题他读过太多遍了）
- "《红楼梦》的作者是谁？"（他很可能答对）
- "欧几里得几何第五公设的精确陈述是什么？"（他可能答对，也可能记混）
- "2023 年 6 月 22 日，纽约联邦法院对 Mata v. Avianca 案的制裁令全文是什么？"（他完全没读过这份文件，但他必须给出答案）
在最后这道题上，学生会怎么做？
他会根据"制裁令"、"联邦法院"、"航空案"这些关键词的统计模式，编造一份看起来像制裁令的文本。他可能会写得非常像，格式完美，语气庄重，引经据典——但内容完全是胡诌的。
这就是大模型。
它就像那个闭卷考试的天才学生，记忆力惊人，读过的内容都在它的"权重"里，但它没有"打开书查一下"的能力。当问题超出它的记忆范围（或者它记忆不清晰），它不会举手说"老师，这道题我不会"，而是会硬着头皮把题目"答完"。
这就是"幻觉"的本质——在不确定时强行生成。
1.3.2 一个更形象的比喻：超级自信的"接话大师"
还有一个更接地气的比喻。
想象你身边有这样一个朋友：
- 他读过你能想到的所有书，包括非常冷门的领域；
- 他说话永远流畅、自信、头头是道；
- 你问他任何问题，他几乎从不会说"我不知道"；
- 但偶尔——你没法预测什么时候——他会突然说出一些完全错误的东西，而且说得和正确信息一样自信。
一开始你可能觉得："哇，他好厉害，什么都知道！"但用久了你会发现，他有时候会编造。
为什么？因为他没有真的"知道"，他只是读得多、记性好，能把相关的词汇和句式组织起来。但他没有"事实核查"的能力，也没有"知道自己不知道"的元认知。
这就是大模型。
它不是"知识渊博但偶尔犯错的天才"，它是"概率性的文字接龙机器，只不过碰巧读过了人类文明的绝大多数文本"。
这个区别至关重要。
---
1.4 三个行业的"幻觉惨案"
我们不能只看一个案例。在 Schwartz 律师事件之后，全球范围内类似的问题在不同行业不断浮现。每一个案例都在提醒我们：当大模型被部署到真实业务中时，"幻觉"不是小瑕疵，而是可能造成真实伤害的事故。
1.4.1 法律行业：从"虚构判例"到"伪造先例"
Schwartz 律师的故事不是孤例。
在 Mata v. Avianca 案之后，类似的"AI 幻觉引发的法律事故"几乎每个月都有报道：
- 2023 年，加州的一位律师在离婚案件中引用了 AI 生成的虚假判例，被法官发现后受到处分。
- 2024 年初，一位英国律师在向高等法院提交的书面意见中引用了六个不存在的判例，全部由 AI 生成。该律师事后承认"对 AI 工具过于信任"。
- 2024 年中，美国的一位诉讼律师使用 AI 工具准备一份管辖权异议书（motion to dismiss for lack of jurisdiction），其中引用的判例里，有一半是"看起来完全合法但实际上不存在"的。
为什么法律行业特别容易踩坑？
因为法律行业高度依赖"先例引用"（case citation）。在英美法系（common law system）下，律师的论点必须建立在过往判例的基础上。一份没有引用的法律意见书，就像一份没有证据的指控——毫无用处。
而先例引用的格式非常"模板化"：案名 + 卷号 + 报告人 + 起始页 + 年份 + 法院。这个格式对语言模型来说，简直是"模仿的天堂"。模型可以根据关键词，生成一个完美符合格式的虚假引证。
更糟糕的是，核实一个判例是否真实存在，需要访问收费法律数据库（LexisNexis、Westlaw、Bloomberg Law 等），每次检索可能花费数十美元。许多中小律所、个体律师负担不起这样的成本，于是更倾向于相信 AI 给出的"现成答案"。
这就形成了一个恶性循环：越依赖 AI 的人，越缺乏核实的能力；越缺乏核实能力的人，越容易踩坑。
1.4.2 医疗行业：当 AI 开始"开药方"
如果说法律行业的"幻觉"可能导致律师被罚款、客户输官司，那么医疗行业的"幻觉"可能直接关系到人的生命。
虽然目前主流的大模型都被强烈建议"不要用于医疗诊断"，但总有人会尝试。2023-2024 年间，多个独立研究和媒体报道揭示了 AI 在医疗场景下的幻觉风险：
- **症状归因错误**：当用户描述症状时，模型可能给出错误的疾病归因。例如，把"胸痛 + 呼吸急促"诊断为"焦虑症"，而实际上可能是肺栓塞（pulmonary embolism）——一种可能致命的急症。
- **药物相互作用虚构**：用户问"我正在服用药物 A，可以同时吃药物 B 吗？"模型可能虚构一份"药物相互作用研究"，声称两者"可以安全合用"，而实际上这两种药物的组合可能造成严重的副作用。
- **过时或错误的医学知识**：医学知识在不断更新。某种药物在 2020 年被推荐使用，到 2024 年可能被召回。但大模型的知识截止于训练数据，对于"2024 年的最新指南"它一无所知。如果用户问"现在治疗 X 病的最新方案是什么？"模型可能给出已经过时的答案。
- **虚假的医学研究引用**：和律所一样，模型可能编造看起来真实的医学论文，包括作者、期刊、年份、结论。如果医生或患者据此做出诊疗决策，后果不堪设想。
2024 年发表在《柳叶刀数字健康》（*The Lancet Digital Health*）上的一项系统综述指出，主流大模型在回答医学问题时，幻觉率（hallucination rate）在不同测试中从 5% 到 30% 不等。在某些专科领域（比如罕见病），幻觉率甚至更高。
对于医疗行业来说，这个数字是触目惊心的。医生不允许在 5% 的情况下"编造诊断"；患者也不应该在 30% 的情况下接受"虚构的治疗方案"。
但这就是大模型的现状——它是一个概率机器，不是一个医学专家。
1.4.3 企业知识管理：当 AI 把"内部八卦"当真话说
法律和医疗是高度专业化的领域。但即使是普通的企业知识管理场景，"幻觉"也能造成尴尬甚至损失。
企业知识管理（Enterprise Knowledge Management）指的是企业内部积累的各种信息——产品手册、内部流程、人事政策、技术文档、会议纪要、客户信息、业务数据。这些信息对于企业的日常运营至关重要。
很多公司尝试用大模型来构建"内部知识问答助手"。员工可以问："公司的差旅报销标准是什么？""如何申请年假？""某个客户合同的关键条款是什么？"
听起来很美好，对吧？
但在实践中，企业知识问答助手经常出现这样的对话：
> 员工：公司去年的差旅报销上限是多少？ > > AI 助手：根据公司《差旅报销政策 2023 版》，员工出差的住宿费上限为每晚 800 元人民币，交通费实报实销。 > > 员工：好的，谢谢。 > > （员工出差后，实际报销时发现上限是每晚 500 元。）
发生了什么？AI 助手编造了一个具体的数字（800 元），而且编造了一个看起来很真实的"政策版本号"（《差旅报销政策 2023 版》）。员工基于这个错误信息安排了行程，结果超出预算只能自己掏腰包。
更糟糕的情况还包括：
- AI 把**两个不同部门的政策**混在一起（比如把销售部门的报销标准和研发部门的混为一谈）；
- AI 把**已经废止的政策**当作现行政策；
- AI 把**内部的玩笑话**当真话说（比如把同事在群里开的玩笑当成公司正式决定）；
- AI 把**外部公开信息**和**内部信息**混淆，给出错误的归因。
2023 年底，一家跨国咨询公司（McKinsey）部署了一个内部 AI 助手来帮助员工查询公司制度。在试用期内，该助手在被问及"公司的产假政策"时，编造了一个根本不存在的政策细节，导致两位即将休产假的员工按照错误的信息安排了工作计划，最终不得不返工。
这是企业知识管理领域最常见的"幻觉"模式：模型在没有确切信息的情况下，根据相关上下文"补全"答案。
这种"补全"在日常对话中可能显得很自然，但在严肃的商业场景中，它可能造成经济损失、合规风险，甚至法律纠纷。
---
1.5 我们该怎么办？从"闭卷"到"开卷"
1.5.1 核心矛盾的提出
到这里，本章的核心矛盾已经完全清晰：
- 大模型有强大的语言能力、推理能力、泛化能力；
- 但大模型没有可靠的"事实记忆"，它通过统计模式生成答案，而不是通过查询真实数据；
- 因此，大模型不可避免地会产生"幻觉"，在它不知道答案时编造看似合理的内容；
- 在法律、医疗、企业知识管理等高风险场景下，"幻觉"不是小问题，而是可能造成实际损失的事故。
这就引出了我们全书最核心的问题——
> 有没有一种方法，让大模型在回答问题时，能够"查阅"真实、可信的知识，而不是凭借概率模式"编造"答案？
1.5.2 一个直觉性的解决方案
答案其实非常直觉。
回想我们刚才"闭卷考试的学生"那个比喻。如果把那位天才学生从密闭的房间里放出来，给他一台连接着图书馆数据库的电脑，会发生什么？
他会变成一个开卷考试的选手。
他不再需要靠记忆回答所有问题。当遇到不确