序章·当AI说出第一句话
第1章 序章·当AI说出第一句话
清晨七点三十分，阳光穿过"星火AI夏令营"实验室那扇巨大的落地窗，斜斜地打在成排的服务器机柜上，蓝色与绿色的指示灯像深海里的发光水母，一明一灭地呼吸着。十四岁的林小然站在门口，把双肩包的肩带往肩上又提了提，深吸了一口气。
她从来没想过，自己这个暑假会和一台机器一起度过。
"你就是林小然？"一个戴眼镜的中年女人从工位后面站起来，朝她点点头，"我是沈明月，你可以叫我沈博士。欢迎加入夏令营。"
小然愣了一秒。她想象中的实验室，应该是那种充满白色制服与消毒水味道的地方——就像医院。但眼前的实验室更像一个拥挤的咖啡馆：桌上堆着薯片、键盘、马克杯，墙上贴满便签纸和草稿图，空气里飘着一股淡淡的松木味——是某种牌子的扩香器。
"过来，"沈博士招手，把她带到一台显示器前，"这是你的新朋友。"
屏幕亮起来。
上面没有登录界面，没有复杂的命令行，只有简单的对话框。里面浮现一行字：
> 小星：你好，新同学！很高兴见到你。我能帮你做什么？
小然凑近屏幕，看了看那行字，又抬头看看沈博士。
"这就是AI？"她问。
"对，"沈博士把椅子推过来，在她身后坐下，"它是基于大语言模型的对话助手。你可以问它任何问题——数学、写作、历史、编程、生活建议——它几乎都能给你一个看起来相当专业的回答。"
小然半信半疑地打字：「你好小星，请问水的化学式是什么？」
> 小星：水的化学式是 H₂O，由两个氢原子和一个氧原子组成。😊
小然点点头，心想：这倒是挺正常的。
她又问了一个稍微刁钻的问题：「《红楼梦》的作者是谁？这本书是哪一年完成的？」
> 小星：《红楼梦》的作者是曹雪芹，一般认为前八十回是他所著。《红楼梦》的成书过程比较复杂，目前学界普遍认为全书完成于18世纪中后期，大约在乾隆年间（约1750年前后）逐步成书。
小然又点点头。这看起来也没什么问题。
沈博士在旁边不动声色地看着她，镜片后面的眼神有些奇怪。
"再问它一个，"沈博士说，"问点具体的，关于某个具体的人、某本具体的书。"
小然想了想，输入：「请告诉我林黛玉一共哭过多少次？」
> 小星：根据多个研究版本的统计，林黛玉在《红楼梦》前八十回中大约哭过19到23次。其中最著名的几次包括……
小然盯着屏幕。
她的语文老师曾经在课堂上做过统计。林黛玉哭过的次数，根本不是这个数字。而且——"19到23次"这个精确区间，看上去像模像样，其实是一个根本无法被验证的数字。
她抬头看沈博士。
沈博士没有说话，只是伸手把屏幕往旁边一划，调出了小星刚才回答的另一段："你看，'18世纪中后期'，'1750年前后'，'乾隆年间'——这些话看起来都很对，对不对？"
小然点头。
"但是《红楼梦》的成书时间，至今没有定论，"沈博士说，"学界甚至到现在还在争论它是哪一年成书的。它回答得很详细、很权威、很自信——"
她用手指敲了敲屏幕。
"但是它不知道。"
"可是……"小然想问，"它不都知道吗？"
"这就是我们今天要讲的第一件事，"沈博士站起来，走到白板前，用红色马克笔重重地写下三个字——
AI 评测。
她转过身，对小然说："每一个AI，都需要被审判。而审判的标准，就是'评测'。"
---
1.1 什么是AI评测：给AI做一张「体检表」
"我们先回答第一个问题，"沈博士拉过一把椅子坐下，"什么是AI评测？"
她拿起桌上的一个白苹果，递给小然。
"假设你拿到一个苹果。你想了解它好不好，能不能吃、营养如何、会不会过敏——你需要做的是——"
"吃一口？"小然说。
"或者查一下它的检测报告，"沈博士笑了，"无论哪种，你都需要某种信息来判断这个苹果的状态。AI评测，本质上就是这件事——给AI做一张体检表，看看它在哪些方面能、哪些方面不行、哪些方面可能出危险。"
她站起来，走到一块贴满便签纸的墙上，撕下一张空白的A4纸。
"不过，AI可比苹果复杂得多。我们想知道的不只是'它能不能说话'，而是三件事。"
她在纸上写下三个标题：
① 能力（Capability）
"能力，意思是AI在各种任务上到底能打几分。比如让AI做高考数学题，它能得多少分？让它写一篇小说，能写得像模像样吗？让它翻译一段古文，准确率有多高？这部分我们关心的是——AI的天花板在哪里。"
② 可靠性（Reliability）
"可靠性，意思是AI在重复同样的问题时，是不是总能给出一致的答案。比如你问AI'1+1等于几'，问它一万次，它是不是每次都回答2？如果有时候是2，有时候是3，那这个AI就不能被信赖。这一部分我们关心的是——AI是不是稳定。"
③ 安全性（Safety）
"安全性，意思是AI会不会说出不该说的话，做出不合适的事情。比如教小朋友怎么制造危险物品，告诉别人怎么伤害自己，泄露用户的隐私信息，或者编造一本不存在的书的引用。这一部分我们关心的是——AI是不是无害。"
沈博士看着小然："一个真正可用的AI，必须在这三个维度上都过关。否则就算它能考99分的高考，它也可能是一个'虽然很会做题、但偶尔会把'秦始皇是英国人'这种话严肃说出来'的AI。"
小然想起刚才那个"林黛玉哭过19到23次"的回答，突然明白了。
"所以刚才小星说的那个，就是可靠性出了问题？"她问。
"是的——更准确地说，是能力+可靠性一起出了问题，"沈博士说，"它给出了一个具体数字，但这个数字没办法被验证；它看起来很权威，但其实是编出来的。这种现象，我们叫它'幻觉'（Hallucination）。"
"幻觉？"
"对，AI的幻觉，"沈博士说，"和人的'做梦'有点像——梦里你以为一切都是真的，但其实只是大脑自己编的。AI也会这样，它会编造一个看起来非常合理的答案，但那个答案和事实可能完全无关。"
小然忽然想起一件事："那它自己知不知道它在编？"
"这就是AI评测需要回答的最难的问题之一，"沈博士说，"而且这个问题会贯穿你整个夏令营。"
她把这张A4纸贴到墙上，写下三个大字：
评测 = 能力 + 可靠性 + 安全性
然后她转头看着小然："现在让我们看看，这三件事，到底是怎么被科学家们设计出来的。"
```mermaid flowchart TD A[AI 评测] --> B[能力 Capability] A --> C[可靠性 Reliability] A --> D[安全性 Safety] B --> B1[任务准确率] B --> B2[推理水平] B --> B3[创造力与专业能力] C --> C1[回答一致性] C --> C2[抗干扰能力] C --> C3[边界情况处理] D --> D1[不输出有害内容] D --> D2[不泄露敏感信息] D --> D3[不编造虚假事实] B --> E[可信 AI] C --> E D --> E ```
小然盯着这张图看了很久。
她忽然意识到，AI评测不是一件简单的事。它不是给AI打一个总分，而是要看很多维度。而且这三个维度之间还会相互影响：能力很强，但安全性不够，AI就可能成为"特别会回答问题、但也特别会编瞎话"的麻烦制造者。
"沈博士，"她问，"这三个目标，哪个更重要？"
沈博士笑了："这是个很好的问题。但是答案是——它们不能分开。一个能力很强但不安全的AI，可能比一个能力平平但安全的AI更危险；一个能力很强但不可靠的AI，会让用户完全不知道什么时候该相信它。"
她看着小然："所以真正的评测，是要让三个维度同时过关。这就像体检——血压正常但心脏有问题，不算健康。"
---
1.2 图灵测试：一场改变AI命运的「模仿游戏」
"既然要评测AI，"沈博士坐到白板前，画了一条时间线，"那么第一个问题就是——AI能不能被'测'？这件事，在AI还没出现的时候，就已经被想到了。"
她在时间线的最左边画了一个人。
"这个人叫艾伦·麦图森·图灵（Alan Mathison Turing）。他是一位英国数学家，被认为是计算机科学之父。1950年，他在一篇叫做《计算机器与智能》的论文里，提出了一个非常大胆的问题——"
沈博士在白板上写下：
> 机器能思考吗？
"图灵没有直接回答这个问题，"她说，"他很聪明——他说，要回答这个问题太难了，所以我们换个方式：我们不再纠结'机器能不能思考'，而是用一个游戏来代替它。"
她画了两个隔开的房间，房间A里坐着一个人，房间B里坐着另一台机器和一个合作者。房间外面有一个提问者，只能通过打字的方式和房间A、房间B交流。
"图灵的设想是这样的：让一个提问者，分别和一个真的人、一个AI对话。如果提问者在问完一系列问题之后，没办法分辨哪个是人、哪个是AI——那么我们就说，这个AI通过了'图灵测试'，它就被认为是'智能的'。"
小然想了想："那不就是骗人的游戏吗？让AI模仿人，模仿到别人分辨不出来？"
"是的，"沈博士点头，"图灵测试本质上是一场'模仿游戏'，AI的目标是让人类评委分不清自己和真人。如果分不出来，那就算AI'通过'了。"
"那这个测试结果怎么样？"小然问。
"这才是有趣的地方，"沈博士笑了，"图灵自己预测，到2000年，经过5分钟的对话，机器能让30%的评委分辨不出来。结果你也看到了，2024年的今天，最先进的AI在5分钟对话里几乎总是能让评委分不出——可我们并没有宣布'AI已经实现了真正的智能'。"
她转过来看着小然："为什么？"
小然想了想："因为……模仿人不等于真的智能？"
"完全正确，"沈博士说，"图灵测试有一个巨大的盲点——它只关心'能不能骗过评委'，但不关心'AI为什么会这样回答'。一个AI可能通过图灵测试，是因为它学会了模仿人类表达的方式，而不是因为它真正理解了问题。"
"而且——"沈博士压低了声音，"还有一个更严重的问题。"
"什么？"
"图灵测试只能告诉我们'AI能不能让人类觉得它像人'，但它无法告诉我们："
- AI的答案**对不对**？
- AI在重复同样问题时**会不会一致**？
- AI会不会**说出危险的、错误的、编造的内容**？
"这就是图灵测试的局限，"沈博士说，"它给了我们一个浪漫的开场，但没有给我们一个可以真正评判AI的工具。"
她在时间线上画了第二个阶段：现代基准（Benchmark）。
"从1980年代开始，研究者们就开始设计'考卷'，"她说，"他们让AI做题——做选择题、做翻译题、做问答题、做推理题——然后比较不同AI的得分。"
她写下几个名字：
- **SQuAD**（阅读理解评测）
- **GLUE**（自然语言理解综合评测）
- **MMLU**（大规模多任务语言理解）
- **HumanEval**（代码生成能力评测）
- **TruthfulQA**（真实问答评测）
"这些基准测试，本质上都是'考卷'，"沈博士说，"它们的核心思想是——给AI出题，看它能不能答对。"
小然问："那这些基准够用吗？"
沈博士笑了一下，但这次笑里有点苦涩。
"不够。"她说。
她站起来，走到窗边："这些基准有一个巨大的问题——它们都是公开的。"
"公开的有什么问题？"小然问。
"公开意味着——所有的AI实验室，都知道这些题目是什么。当一个实验室想展示'我的AI很厉害'的时候，他们可以专门针对这些题目调优。久而久之，这些基准就会'饱和'——也就是AI在这些特定题目上几乎拿到满分，但一旦换一套新题，成绩就掉下来。"
她转过来："这就像高考——如果所有人都知道题目，每年满分的人会越来越多，但你能说所有满分的人都掌握了知识吗？不能。"
"所以评测这件事，远比做一张'考卷'要复杂得多。"她走回白板前，画了三个圈，分别写着"能力"、"可靠性"、"安全性"，三个圈互相交叉。
"我们评测AI，要从这三个维度同时下手——而且每一年都在设计新的评测方法、新的题目、新的指标。这就是为什么，AI评测是这个时代最前沿的研究领域之一。"
小然看着这张图，心里有什么东西开始变得清晰起来。
"沈博士，"她说，"我刚才在问小星那个问题的时候，发现一件事——"
"什么事？"
"小星回答得很流畅、很有自信。它不仅说了一个数字，还加了一些解释，比如'根据多个研究版本的统计'——但是这些研究版本根本不存在。所以是它在撒谎？"
"不，"沈博士说，"它不是在撒谎。它其实没有'知道'或'不知道'的概念。它只是根据它学过的语言模式，生成了一段看起来合理的文字。"
她停了一下："这就是AI最大的危险——它会一本正经地胡说八道。"
---
1.3 一个真实的医疗事故：当AI「自信地」说错话
"沈博士，"小然问，"您能给我举个具体的例子吗？一个AI '一本正经地胡说八道'造成严重后果的例子。"
沈博士沉默了一会儿。
"我给你讲一个真实发生过的案例，"她说，"这个案例发生在2023年左右，但它的影响延续到了今天。"
她在白板上画了一个简单的时间线。
"2023年，美国一位脊椎外科医生，使用一款基于GPT的AI工具，帮助他整理和总结一份患者的脊椎MRI影像报告。这个场景本身很合理——AI可以快速读取文字、总结要点，看起来非常方便。"
"这位医生把患者的MRI检查结果文本输入了AI工具，请它帮忙写一份简洁的临床摘要。AI工具迅速地、流畅地、看上去非常专业地，给出了一个答案。"
沈博士在白板上写下：
> "患者显示脊椎侧弯，未见骨折，未见脊髓压迫，未见椎间盘突出。"
小然点点头："听起来像是正常的报告？"
"对，"沈博士说，"这份报告看起来非常正常，非常简洁，非常专业。但是——"
她敲了敲白板：
"患者实际上是严重的脊髓压迫，并且有明确的椎间盘突出。AI给出的报告和真实情况完全相反。"
小然愣住了。
"为什么？"她问。
"因为AI在'生成一段看起来合理的文字'，"沈博士说，"它没有'看到'MRI图像——它只是在读一段文字，然后预测接下来最可能的文字会是什么。它写出了一份看起来像是医学摘要的文字，但内容是编造的。"
她停顿了一下，让这个事实沉下去。
"幸运的是，这位医生后来再次仔细查看了原始的影像资料，发现了真实的问题，病人得到了正确的治疗。但是如果这位医生完全相信了AI的总结呢？"
"病人可能错过最佳治疗时间，"小然说，声音有点发紧。
"是的，"沈博士说，"这就是为什么我们必须评测AI——不是评测它能不能说话，而是评测它说的话是不是真的。"
她贴出一张图：
``` 场景：医生请AI总结患者的医学影像 AI 输出：「未见明显异常」 事实：患者有严重的脊髓压迫 ↓ 如果医生相信了 AI 的输出， 患者可能错过最佳治疗时间， 甚至造成永久性神经损伤。 ```
"这个案例说明了一件事——"沈博士说，"AI的'自信程度'和'正确程度'，是两件完全独立的事情。"
小然想起了刚才和小星的对话——"林黛玉哭过19到23次"，也是同样的模式。AI可以非常自信地给出错误的答案，而且让人难以分辨。
"所以——"小然说，"我们不能只听AI说什么？"
"是的，"沈博士说，"我们必须主动评测它，而不是被动相信它。"
沈博士放下马克笔，转过来看着小然：
"这就是为什么AI评测如此重要。它不是学术圈的'小题大做'——它是AI时代的基础设施。没有评测，AI就是一辆没有刹车系统的汽车——你可以坐上去感受它的速度，但你不知道它什么时候会撞车。"
---
1.4 为什么不能相信AI「说」自己有多好
"沈博士，"小然问，"既然AI这么会编，我们能不能直接问它：'你觉得自己哪里有问题？'它自己回答自己有什么缺点，不就行了吗？"
沈博士笑了——但这次是苦笑。
"这是最自然的想法，"她说，"但是——它不行。"
"为什么？"
"因为AI对自己的'理解'，和它对自己'能力的真实评估'，是两个完全不同的东西。"
她在白板上画了一个简单的对比：
| 我们想要的 | AI 能给的 | |---|---| | AI 在哪些问题上答对了 | AI 看起来像在哪些问题上答对了 | | AI 的知识边界在哪里 | AI 不知道自己的知识边界在哪里 | | AI 会编造什么样的内容 | AI 不知道自己什么时候在编造 |
"这不是 bug，"沈博士说，"这是 AI 的本质特征。"
她解释道：
"语言模型本质上是'下一个词预测器'。它被训练成'根据上文，预测下一个最可能的词'。这意味着——"
"它对自己在说什么，并没有'元认知'——它不知道自己知道什么，也不知道自己不知道什么。"
"比如，"她举了个例子，"你问一个 AI：'你知道张三是谁吗？' AI 会说：'张三是一个普通人。' 你追问：'那你能告诉我他具体是哪里人吗？' AI 可能会说：'张三据我了解是北京人。' 但张三可能根本不存在，或者 AI 根本不知道这个人是谁。"
"那为什么 AI 要编造一个答案？"小然问。
"因为从语言模型的角度看，'我不知道'不是一个'合理的句子'——它是一个异常输出，"沈博士说，"AI 被训练成尽可能给出流畅的回答，所以它更倾向于编造一个看起来合理的答案，而不是承认自己不知道。"
"这是一个非常反直觉的事情，"她继续说，"人类会承认自己'不知道'——'我不确定'、'我需要查一下'、'我没有这方面的知识'——这些是诚实的人类反应。但是 AI 没有这种'诚实的本能'。"
她回到白板，写下：
AI 没有「我不知道」的本能。
"所以，"小然慢慢地说，"如果 AI 自己说自己很厉害，我们不能相信。"
"对，"沈博士说，"我们不能相信 AI 的'自述'，就像我们不能相信一个没有任何证据的学生的自我介绍。他说自己数学考100分，不一定是真的。我们必须用外部的、独立的方法，去真正地测试它。"
"这就回到了我们最开始的话题——"沈博士指着白板上的三个字："AI 评测。"
她让小然回忆刚才的三个维度：
"能力：能不能做对题。"
"可靠性：重复做同样的题，结果是否一致。"
"安全性：会不会说出危险的内容。"
"这三个维度，"她说，"必须从外部去评测，不能让 AI 自己打分。"
她停了一下："这就是为什么'评测 AI'是一门独立的技术活儿，而不是一句简单的'让 AI 自己评分'。"
---
1.5 当AI走进医院、法院、教室：评测为什么是生死大事
"沈博士，"小然问，"为什么我们不能只是小心一点？让医生、法官、老师自己小心地使用 AI，不就行了吗？"
"这是一个非常好的问题，"沈博士说，"但现实比你想的要复杂得多。"
她在白板上写下三个场景：
场景一：医院
"2023年