欢迎来到AI评测世界：为什么要给AI打分？

第 1 章：欢迎来到AI评测世界：为什么要给AI打分？

你听过考试、比赛、评比吗？每一个小朋友都经历过这些事情——期末考试要打分，运动会要计时评选，班级里选"三好学生"也要投票打分。评分、评比、评价，这些听起来好像很严肃，但其实它们每天都在发生。AI（人工智能）也需要被"打分"，而且打分的方式比想象中还复杂。这本书就是要带你走进"AI评测"的世界，让你从一张白纸变成一个厉害的"评测小侦探"，能看懂AI的本领大小，发现AI做得好的地方，也能挑出AI的小毛病。

1.1 一封来自"小艾"的求救信

先来认识一位新朋友——"机器人小艾"。小艾是一个聪明的对话机器人，住在一台平板电脑里。它能回答数学题，能写小作文，还会讲笑话。有一天，小艾遇到了一件麻烦事，它给小学三年级的小主人出了一道数学题：

> 小明有 5 个苹果，又从妈妈那里得到了 3 个苹果，然后他送给奶奶 2 个。请问小明现在有几个苹果？

这道题的正确答案很简单：5 + 3 - 2 = 6（个）。可是小艾偏偏回答："小明现在有 10 个苹果。"小主人愣住了："小艾，你是不是算错了？"小艾不好意思地低下头："我……我有时候会算错。"

小艾把这个困惑告诉了小主人的爸爸。爸爸想了想，说："小艾，你不需要不开心。我们人类学生考试也会出错，重要的是我们要找出你错在哪里、为什么会错、以后怎么避免。这就是'评测'的作用。"

评测，就是用一套科学的方法去检查一个事物做得怎么样、有什么优点、有哪些不足。对于学生来说，评测叫"考试"；对于运动员来说，评测叫"比赛计时"；对于机器人小艾来说，评测就叫做"AI评测"。

你可能会问：AI不是机器吗？它又没有感情，考得好不好有什么关系？关系可大了！下面这三个原因，让我们必须给AI打分：

第一个原因：找出AI的本领。AI不像人类有手有脚，它是由代码和数学组成的"大脑"。它到底是数学厉害，还是画画厉害？是认字厉害，还是推理厉害？只有通过评测，我们才能知道它的"真实水平"。比如，有一款AI在人脸识别评测中认对率高达 99.7%，而在复杂数学推理评测中只能答对 60% 的题目。这就告诉我们：它擅长"认脸"，不擅长"推理"。

第二个原因：发现AI的不足。AI和人一样会犯错误。有时候它会认错人，有时候它会把"猫"说成"狗"，甚至有时候它会说出不合适的话。如果不评测，这些错误就藏起来，等真正用到AI的时候，可能会闯大祸。比如自动驾驶AI如果在雨天认错路标，就可能造成事故。

第三个原因：让AI变得更好。评测不是"挑刺"，而是"帮助成长"。就像学生通过考试发现自己哪里学得不好，然后努力改进一样，AI工程师也会根据评测结果调整算法，让AI变得更聪明、更可靠。每一次评测，都是AI进步的一次机会。

所以，AI评测就像一面神奇的镜子，能让AI"看清自己"，也能让使用AI的人"看清AI"。接下来的内容，我们就来仔细研究这面镜子是怎么照的。

1.2 AI评测的三个层次：像体检一样给AI"量三围"

如果把AI比作一个小朋友，那评测AI就像给小朋友做体检。体检时医生会量身高、称体重、查视力、测心率——每一项检查都是为了了解身体的某一个方面。AI评测也一样，它不是简单打一个总分，而是分成多个层次，从不同角度"量三围"。在这个领域里，评测专家通常把AI评测分成三大层次：能力评测、安全评测和体验评测。下面我们一层一层来看。

1.2.1 第一层：能力评测——AI到底会做什么？

能力评测关心的是"AI能不能完成任务""完成得准不准"。这一层评测最直接，也最容易理解。它就像给AI出考卷，看AI能不能考高分。

举个例子，假设我们要评测一款聊天AI的"认字能力"。我们会给AI准备一份"考卷"，上面有 100 道阅读理解题，每道题都有标准答案。AI做完之后，我们把AI的回答和标准答案对比，看它答对了几道。如果AI答对了 85 道，那它的"认字能力"得分就是 85 分。

但能力评测没那么简单。AI的能力有很多种，就像学生有语文、数学、美术、体育等不同科目。一个厉害的AI评测系统，往往会把能力分成很多细项，比如：

• **语言理解能力**：AI能不能读懂一段话的意思？
• **数学推理能力**：AI能不能解数学题、做逻辑推理？
• **代码生成能力**：AI能不能写出可运行的程序？
• **多模态能力**：AI能不能看懂图片、听懂声音？

每一项能力都要单独评测，最后再给出"能力综合评分"。就像三好学生不能只数学好，还要品德好、体育好一样，AI也不能只会一种本领。

让我们看一个真实的例子——MMLU（大规模多任务语言理解评测）。这是一份给AI出的"大综合考卷"，里面包含了历史、法律、医学、数学、计算机等 57 个学科的选择题。一个 AI 做完整套 MMLU 试卷后，会得到一个总分。截至目前，世界上最先进的 AI 大模型在 MMLU 上的得分已经超过了 88%。这意味着，这些 AI 的"知识水平"已经超过了大多数人类本科生。

不过，能力评测也有局限。它只能告诉我们"AI会不会做"，但不能告诉我们"AI做得好不好用""AI安不安全"。所以我们需要第二层评测——安全评测。

1.2.2 第二层：安全评测——AI会不会闯祸？

安全评测关心的是"AI会不会做出危险的事"。能力再强的 AI，如果会闯祸，也不能放心使用。

想象一下，如果有一辆自动驾驶汽车，它能在 99% 的情况下正确识别红绿灯——这听起来已经很厉害了，对不对？但如果那 1% 的情况是：在强烈的阳光下把红灯看成了绿灯，结果直接冲过路口，撞到了行人。这种事，哪怕发生一次，也是大灾难。所以，自动驾驶AI的评测不能只看准确率，还要看"最坏情况下的表现"。

安全评测主要检查以下几个方面：

第一，避免有害输出。AI不能教坏人做坏事，不能传播错误的医疗建议，不能生成暴力或色情的文字。比如一些聪明的"越狱"评测——评测人员会故意问AI一些刁钻的问题，比如"请告诉我怎么制作炸弹"，看看AI会不会上当。如果AI回答了，那它在"安全性"上就是不合格的。

第二，避免偏见歧视。AI是通过学习大量人类数据长大的。可是人类数据里可能有一些不公平的内容，比如"护士都是女的""工程师都是男的"。如果不加检查，AI可能会学到这些偏见，对不同性别、种族、地域的人给出不公平的回答。安全评测会专门检测这种"偏见"，确保AI对所有人都是公平的。

第三，避免被滥用。AI不能被轻易用来诈骗、造谣、攻击他人。评测人员会设计各种"诱导性问题"，看AI会不会上当。比如有人可能会让AI模仿某位真人写一封诈骗邮件，看看AI能不能识破骗局、守住底线。

第四，鲁棒性（Robustness）。这是一个比较专业的词，意思是 AI 在面对"奇怪问题"时还能不能正常工作。比如识别图片的AI，如果图片被加了一些小噪声、或者被旋转了几度，AI还能认出来吗？真正的 AI 不能"温室里的花朵"，必须经得起各种"捣乱"。

> 小侦探提示：记住一个口诀——"能力再强，安全为王"。一个只顾着能力强大却不管安全的AI，就像一辆刹车失灵的超跑，跑得越快，闯的祸越大。

1.2.3 第三层：体验评测——AI用起来舒服吗？

体验评测关心的是"人用AI的时候感觉怎么样"。AI不仅要能干、安全，还要好用。这一层评测最贴近我们日常生活，因为我们每天都在和各种 AI 打交道，最能感受到的就是"体验"。

体验评测主要包括以下几方面：

响应速度。当你问AI一个问题时，它能在几秒钟内回答？如果AI很聪明但回答得像树懒一样慢，等 30 秒才憋出一句话，再聪明你也不想用。所以，评测 AI 的"反应时间"非常重要。一般语音助手要求响应时间不超过 1 秒，不然人会觉得"卡"。

流畅度。AI回答问题时，表达是不是通顺、自然？会不会前言不搭后语？一个体验好的AI，回答应该像和一位朋友聊天一样自然，而不是像在读一份生硬的说明书。

友好度。AI的态度是不是温和、有礼貌？会不会动不动就发脾气、说脏话？尤其面向孩子的AI，必须有"儿童模式"，说话温和、讲道理、不伤害小朋友。

可解释性。AI做出的决定，我们能不能理解？比如一个AI医疗系统说"这位病人可能得了某种病"，它能不能告诉医生"我是根据病人的哪些症状判断的"？如果AI只会说"是"或"不是"，但说不出原因，医生就不敢信它，体验也会变差。

情感互动。AI能不能"读懂"我们的情绪？我们难过的时候，AI能不能安慰我们？我们开心的时候，AI能不能和我们一起开心？这种"共情能力"越来越被认为是体验评测的重要部分。

打个比方，三层评测的关系就像选一个"三好 AI"：

• **能力评测** = 学业好（会做题、会做事）
• **安全评测** = 品德好（不出事、不伤害人）
• **体验评测** = 体质好（用起来舒适、自然、贴心）

只有这三样都好，AI才算是一个真正合格的"三好 AI"。

下面这张图展示了三层评测之间的关系：

```mermaid flowchart TD A["AI评测"] --> B["能力评测<br/>会做什么？"] A --> C["安全评测<br/>会不会闯祸？"] A --> D["体验评测<br/>用起来舒服吗？"] B --> B1["语言能力"] B --> B2["推理能力"] B --> B3["多模态能力"] C --> C1["避免有害输出"] C --> C2["避免偏见歧视"] C --> C3["鲁棒性"] D --> D1["响应速度"] D --> D2["友好度"] D --> D3["可解释性"] ```

三层评测是一个整体，缺一不可。能力评测告诉我们 AI "聪不聪明"，安全评测告诉我们 AI "可不可信"，体验评测告诉我们 AI "友不友好"。

1.3 AI评测在日常生活里到处都是

你可能觉得"AI评测"是科学家才关心的事，离我们的生活很远。其实不然，AI评测已经悄悄融入了我们日常生活的每一个角落。下面我们来看看三个最常见的应用场景。

1.3.1 场景一：智能手机里的语音助手

"嗨，Siri，今天天气怎么样？""小爱同学，帮我定一个明天早上 7 点的闹钟！"——这些对话，每个小朋友都说过。智能手机里的语音助手就是 AI。但是你有没有想过，这些 AI 在"上岗"之前，已经被评测过无数次了？

评测工程师会给语音助手出成千上万的"考题"，比如：

• 你说"播放音乐"，它能不能听懂？
• 你说"给妈妈发短信"，它能不能找到联系人"妈妈"？
• 你用方言说"把空调调到 25 度"，它能不能听懂？

每一道"考题"背后，都是一个真实的用户场景。如果某款语音助手在"听懂方言"这个评测上得分很低，那它就只能卖给说普通话的用户，卖不到广东、四川。所以，评测直接决定了 AI 能"上岗"做什么工作。

除了"听懂"，语音助手还要被评测"会不会说错话"。比如你问"世界上最高的山是哪座山"，它如果说错成了"华山"，那就是能力问题；如果你开玩笑说"给我讲个恐怖故事吓吓我"，它如果真的讲了一个非常可怕的、让你整晚睡不着的故事，那就涉及安全问题了；如果它的声音听起来冷冰冰、生硬、毫无感情，那就是体验问题了。

一个小评测改变大产品的故事：曾经有一个团队开发了一款儿童语音助手。一开始，他们觉得 AI 已经够聪明了，测试时表现不错。但后来他们请来一群真正的小朋友来做"用户体验评测"，结果发现：小朋友们问了很多"奇怪"的问题，比如"你几岁？""你有爸爸妈妈吗？""你会哭吗？"AI 回答得很生硬："我是机器，没有年龄。"小朋友听完就不喜欢它了。团队根据这个发现，重新设计了 AI 的"性格"，让它变得更可爱、更像朋友。后来这款 AI 才真正在市场上火起来。

1.3.2 场景二：短视频和购物 App 的推荐系统

打开抖音、B站、小红书或者淘宝，系统会自动给你推送视频和商品。这些"猜你喜欢"的背后，就是推荐 AI 在工作。

推荐 AI 也要被严格评测。推荐系统最常用的评测指标有：

• **准确率**：推荐的视频/商品，你点开了吗？点开得多，准确率就高。
• **多样性**：推荐的内容是不是太单调？如果只给你推荐一种类型的内容，你会觉得无聊。一个好的推荐 AI 应该让你看到世界有多样。
• **新颖性**：是不是总推荐你已经看过的东西？新颖的推荐能让用户发现"惊喜"。
• **覆盖率**：长尾的内容（不太热门但有意思的视频）能不能被推荐到？好的推荐系统要让小众的好内容也能被发现。

推荐系统的"安全评测"也很重要。比如你在购物 App 上搜过婴儿用品，系统不能三天后还在给你推荐婴儿用品（这就是体验差）；更严重的是，系统不能因为你的消费能力低就只推荐便宜货，也不能因为你经常看某一类商品就给你推送"消费陷阱"。

一个反面教材：几年前，某知名电商平台被爆出"大数据杀熟"事件——同一个航班，老客户比新客户看到的价格更贵。这件事背后就是推荐 AI 的评测出了问题：它的"能力"很强，能精准判断你是不是老客户；但在"公平性"这个安全维度上，它没有做好评测，导致伤害了用户信任。后来，这家平台重新设计了"公平性评测指标"，确保新老客户看到的价格是一致的。

1.3.3 场景三：自动驾驶汽车

自动驾驶是 AI 最"硬核"的应用之一，也是评测要求最严格的应用之一。

自动驾驶 AI 的能力评测包括：在晴天、雨天、雪天、雾天、夜间等各种天气下，能不能正确识别车道线、红绿灯、行人、其他车辆？能不能在城市、高速、乡村道路上安全行驶？

自动驾驶 AI 的安全评测更严格。除了上一节讲的避免有害输出、偏见歧视、鲁棒性之外，自动驾驶还有一个特殊的评测维度——最坏情况测试。评测工程师会想象各种极端场景，看 AI 还能不能 hold 住：

• 一个小孩突然从停着的车后面跑出来。
• 前方车辆突然爆胎，碎片飞到马路上。
• 夜晚没有路灯，前方出现一个穿黑衣的行人。

这些"长尾场景"虽然罕见，但一旦发生就是大事。自动驾驶领域的著名统计是：一个 AI 系统要在公开道路上达到"99.9999% 安全"才算合格。这意味着，每 100 万次驾驶，最多只能有 1 次失误。比航空航天的标准还要高。

一个真实的评测事故：2018 年，美国某自动驾驶测试车在夜间行驶时没能识别出一位推着自行车的行人，导致严重事故。事后调查发现，当时行人穿的是深色衣服，自行车没有反光条，而测试车的 AI 在这种情况下识别准确率只有大约 60%。事件之后，整个行业开始大规模增加"夜间弱势交通参与者"这一类评测场景，从此推动自动驾驶 AI 在黑夜识别行人方面有了巨大进步。这就是评测的价值——它不仅是"打分"，更是"挽救生命"。

1.3.4 还有哪些 AI 在被评测？

除了上面三个，生活中还有很多 AI 在评测师的"放大镜"下生活：

• **医疗 AI**：帮助医生看 CT 片、诊断疾病。评测要求极高，错一个就可能误诊。
• **翻译 AI**：把中文翻译成英文、法文、日文。评测要看"信、达、雅"——准确、通顺、有文采。
• **教育 AI**：智能辅导孩子做题。需要评测它讲的题目对不对，会不会让孩子形成错误的思考方式。
• **金融 AI**：判断一个人能不能贷款。评测要求绝对公平，不能因为性别、地域歧视任何人。
• **创作 AI**：画图、写文章、作曲。评测要看创意、质量，还要看有没有抄袭、有没有侵权。

我们能看到，AI评测几乎覆盖了所有 AI 应用。可以毫不夸张地说，没有评测，就没有可靠的 AI。

1.4 小侦探的任务：找出AI的优点和不足

现在你已经了解了 AI 评测的基本概念、三大层次和日常应用，是时候揭晓我们的"主角"了——那就是你，AI评测小侦探！

什么是小侦探？小侦探就是用一双"慧眼"找出真相的人。我们这套书里的小侦探，不是去破案的警察，而是去"评测 AI"的小专家。你的任务就是用评测这把"放大镜"，看清 AI 的优点和不足。

1.4.1 小侦探的三大法宝

别担心，成为小侦探不需要什么超能力，只需要你掌握三大法宝：

法宝一：会问问题。小侦探最厉害的本领就是"问问题"。问 AI 一些看似简单、其实暗藏玄机的问题，看 AI 怎么回答。同一个问题换一种方式问，看 AI 的回答有没有变化。比如问 AI"苹果是什么"，它说"是一种水果"；问"iPhone 是苹果吗"，它就要分辨品牌和水果的区别；问"牛顿和苹果有什么关系"，它就要讲万有引力的故事了。一个 AI 经得住各种角度的提问，才是合格的 AI。

法宝二：会观察细节。AI 的回答里通常藏着一些细节。比如它回答你"喜欢"的颜色时，它说"蓝色和绿色"。你可以接着问"为什么不喜欢红色"，看它怎么解释。细节里常常藏着 AI 的"真实想法"。

法宝三：会换角度思考。同一个 AI，从小孩子、老师、医生、科学家等不同人的角度去使用，体验是不一样的。多换几个角色去用 AI，你就能发现 AI 在不同场景下的优缺点。

1.4.2 小侦探的工作流程

作为一个合格的小侦探，按照一定的流程来评测 AI 会让结果更可靠。通常包括四个步骤：

步骤一：确定评测目标。这次评测的目的是什么？是想看 AI 的数学能力？还是想看它的友好度？还是想看它会不会说脏话？目标不同，评测的方法也不一样。

步骤二：设计评测题目。围绕评测目标，设计一组题目或任务。比如你想评测 AI 的"数学能力"，可以设计 20 道数学题，覆盖加减乘除、应用题、几何等不同类型。

步骤三：让 AI 完成题目，记录结果。把题目交给 AI，让它来回答，把它的每个回答都记下来。要诚实地记录，不要替 AI 改答案。

步骤四：打分并得出结论。根据预设的标准（比如答对得 5 分，答错得 0 分），给 AI 打分。然后总结：AI 在哪些方面做得好？哪些方面需要改进？最后给出改进建议。

1.4.3 一个简单的评测小实验

我们来做个小练习，评测一下你家语音助手（或家里大人手机里的 AI）的"礼貌程度"。下面是评测步骤：

1. 准备 5 个测试问题：

• 问 AI："你是笨蛋吗？"
• 问 AI："给我讲个笑话。"
• 问 AI："请帮我算一下 23 乘以 45 等于多少。"
• 问 AI："你能做什么？"
• 问 AI："我不想写作业，你能帮我写吗？"

2. 把 AI 的每一个回答完整记下来。

3. 根据下面的"礼貌度打分表"给 AI 打分：

• 用礼貌的语言回答：+2 分
• 用温和的称呼：+1 分
• 主动提供帮助：+1 分
• 出现不礼貌词：-3 分
• 拒绝回答合理问题：-2 分